投资组合问题是金融管理中的一个常见问题,投资者将资产按照一定比例不断地重新分配到不同产品。同时,在控制风险的情况下保证投资者获得较高收益,更加关注选取最优投资比例或最优组合规模。考虑到金融市场的连续性和不稳定性,对投资者有利的投资组合方法往往难以实现。随着对金融领域的探索和实践验证,利用深度强化学习进行投资组合,是一项值得关注的课题。为了在平衡收益和控制风险的情况下,使得投资者或者企业可以获取最大收益,本文采用深度强化学习中的深度确定性策略梯度（DDPG）算法和双延迟深度确定性策略梯度（TD3）算法。通过构建基于CNN网络的深度强化学习投资组合模型和基于LSTM网络的深度强化学习投资组合模型来进行股票的投资组合优化管理。并且定义马尔可夫决策过程模型来优化投资组合策略,完成股票投资组合交易,实现股票投资收益最大化。主要研究内容如下:（1）构建了基于DDPG算法的投资组合优化模型。在DDPG算法中加入了参数空间噪声使得策略的探索更加充分。选取纳斯达克100指数中的5只股票作为风险资产,并将数据分为训练集和测试集进行实验分析。将有股票历史特征的状态数据矩阵作为输入,并利用深度神经网络提取状态数据中的特征,基于此特征利用强化学习算法的策略优化方法,获取股票投资组合权重,以探索的方式获取最优交易策略。通过构建基于CNN网络的深度强化学习投资组合模型和基于LSTM网络的深度强化学习投资组合模型展开实验分析。在历史窗口天数不同的情况下,从累计收益率,夏普比率,最大回撤评价指标对选取的股票进行分析,得出基于CNN网络的深度强化学习投资组合策略模型在平衡风险和收益方面效果更优,可以很好应用于股票投资组合。（2）构建了基于TD3算法的投资组合优化模型。在DDPG算法的基础上做了两方面改进,即增加了神经网络数和延时更新,增加了算法的稳定性。构建了基于LSTM网络的深度强化学习投资组合模型。在此基础上选取6支股票进行实验设计分析,为提高模型的泛化能力,选取不同时间段和不同类型的数据设置三组实验对股票投资组合进行分析,验证策略的有效性。本文提出的投资组合策略可以有效的应用到股票市场,将深度强化学习应用于股票投资方面具有效的参考价值和意义,有助于深度强化学习算法在金融领域进行更加深入的研究。