量化投资区别于传统投资方法,通过数量化方法指导投资交易。近年来,量化投资交易在中国市场取得了长足的发展。市场上涌现出多种基于量化分析的投资策略,例如股票多因子策略、CTA策略以及多空对冲策略等。但经过将近10年的发展,量化策略出现了拥挤的现象,大量因子失效。低频量化多因子策略走上了依靠因子择时获利的道路,具有极大的主观性。事实上,随着量化投资交易的不断发展,现阶段,在高频量价因子研究领域,市场也逐步出现了拥挤的现象。强化学习作为一种自适应学习方法,在博弈、控制等领域取得了突出的成果。考虑到金融市场的规则性,将强化学习应用到投资实践成为新的热门研究领域。强化学习属于无监督学习方法,随着深度学习的出现,二者的结合:深度强化学习也逐渐成为研究的热点。强化学习通过不断与环境互动进行学习,从而对环境建模,确定最优策略。将强化学习应用到投资领域可以开发自动化交易策略,因此成为本文的首选方法。强化学习的环境中,规则具体明确、高度自治。在考察了各个金融品种的特性后,本文决定针对比特币市场开发自动择时交易策略。通过交易所开放接口获取比特币的量价行情数据,并根据原始量价数据计算技术指标,作为强化学习的状态数据。对于具体的模型构建流程,本文首先对比了四类基础强化学习算法的实证结果,分别是两步深度Q学习（Double-DQN）、优势动作评论算法（A2C）、深度确定性策略梯度算法（DDPG）和近端策略优化算法（PPO）,发现DDPG模型的测试区间绩效评价最优。在此基础上本文做出了四点创新性尝试,分别为智能体网络结构改进、奖励函数改进、加入模仿机制和加入特征提取网络,相应地提出了四个模型:gru DDPG、ra DDPG、im DDPG和fe DDPG。对各改进模型进一步的实证研究。通过本文研究发现,使用GRU模型替换传统多层感知机智能体得到的gru DDPG相对于基础DDPG模型能够获得更优的绩效表现,从而验证了循环神经网络对于时序数据的适用性。进一步地,ra DDPG、im DDPG和fe DDPG都取得了不同程度更优的实证效果,而fe DDPG的效果在各改进模型中为最优,说明通过特征提取为智能体提供充分的先验信息对于强化学习训练的必要性。最后,本文综合了四点改进,提出了综合模型c DDPG。通过对比验证,综合模型c DDPG取得了最优的绩效评价。自2020年1月至10月中旬,模型取得了142.98%的超额收益,夏普比率为3.487,年化波动率为0.61,最大回撤为-25.09%。模型平均单步推理时间保持在0.001秒左右,具有一定的实盘意义。本文的主要特色体现在模型与指标数据两方面。模型方面:（1）使用门控循环单元GRU网络替换传统多层感知机智能体,从而更充分地挖掘量价时序数据中的信息;（2）对强化学习算法的奖励函数进行改进,在训练初期赋予智能体更大尺度的奖励,之后逐步衰减。从而使智能体在初期能够更加迅速地学习到有价值的状态-动作对应关系,在不失智能体对环境的探索的同时加快收敛;（3）加入模仿机制,使强化学习智能体事先学习经典策略,再进行与环境的交互训练,从而提高模型训练的起点;指标数据方面:（1）在强化学习状态要素定义中,除了传统的一手OHLCV量价数据外,还使用了各类技术指标,进行初步的特征提取;（2）加入特征提取网络,事先提取当前时点前后的涨跌特征信息,作为状态提供给智能体学习。在充分赋予智能体先验信息的情况下,加快收敛,提升模型训练效果。