强化学习在近些年逐渐成为人工智能领域的一个研究热点,而且已经在游戏、控制、自然语言处理等领域取得了非常大的成功。面对越来越复杂的强化学习任务,为了提高数据的利用率,人们提出了经验重放机制。早期的经验重放多采用随机采样的方式,每条经验被用于学习的概率是相同的,这不利于有效地利用过去的经验。为了解决这一问题,本文提出了一种称为离线策略下强化学习高价值优先经验重放(HVPER)的新算法,旨在提高强化学习算法的学习效率。本文首先提出了稀疏奖励环境中基于时间差分误差和奖励的优先经验重放算法。算法在设计重放优先级时,在优先经验重放(PER)算法的基础上加入了奖励优先这一因素。然后分别在Blind Cliffwalk环境和Gym环境中设计实验,验证了与深度Q网络(DQN)算法和PER算法相比,时间差分误差和奖励的结合提高了强化学习算法在奖励稀疏问题中的训练速度。接着,本文将该算法扩展到更普通的环境,设计了基于时间差分误差和状态-动作价值的高价值优先经验重放(HVPER)算法用于非稀疏奖励环境中的强化学习任务。然后,在Gym环境中设计了对比实验以评估HVPER算法的性能。结果表明,与深度确定性策略梯度(DDPG)算法相比,HVPER算法可以在两个连续空间的问题中加速网络训练并获得更好的性能。实际上,奖励或状态-动作价值代表的是状态-动作的回报或长期回报,该指标可以帮助智能体获得较高的回报;时间差分误差表示模型拟合的准确性,训练该指标可以帮助模型快速收敛。因此,二者的结合可以使强化学习算法快速地收敛到更高的水平。为了验证算法在实际应用中的有效性,本文将HVPER算法应用在了基于游戏引擎X-Plane的自动着舰任务中,设计了非稀疏奖励环境的自动驾驶任务,对比了HVPER算法与DDPG算法的学习效果。实验结果表明,HVPER算法在实际问题中取得了较好的性能,可以提高飞行任务的训练速度和效果,从而提高自动着舰任务的成功率。