经验回放（Experience Replay,ER）是深度强化学习（Deep Reinforcement Learning,DRL）的重要组成部分,通过重复采样学习保留在经验池中的经验,优化目标策略。目前,经验回放存在两个问题:1)经验保留使用全保留或先进先出的经验池,需要与环境交互产生大量样本,导致深度强化学习算法的学习速度较慢,样本利用率有待提升;2)优先采样打破经验池中原本的分布,加大经验状态分布与策略状态分布的距离,导致算法的回报方差较高,算法稳定性较差。（1）针对学习速度慢、样本利用率低的问题,鉴于不同经验保留中经验状态分布存在差异,本文提出双经验池回放（Dual Replay Buffer,DRB）。双经验池回放同时维护全保留经验池和先进先出（First In First Out,FIFO）经验池,分别保留近似于环境全局状态分布和策略状态分布的经验,并使用混合经验采样更新网络,从而加速策略学习,提升样本利用率。（2）针对算法性能不稳定、回报方差大的问题,鉴于策略状态分布与经验状态分布间的距离较大,本文提出优先双经验池回放（Prioritized Dual Replay Buffer,PDRB）。优先双经验池回放在双经验池回放的基础上结合优先采样和经验过滤,根据时间差分误差度量优先级,同时滤去与策略状态分布相距较大的经验,并使用分段损失函数更新网络,从而提升算法的稳定性。本文使用Gym和PyBullet环境的控制任务对比不同经验回放的学习速度和回报。实验表明,相比于先进先出和全保留的经验回放,基于双经验池回放的深度强化学习算法学习速度大幅提高,回报达到最大值80%所需的情节数减少约33.17%。相比于优先经验回放和选择记忆经验回放,基于优先双经验池回放的深度强化学习算法的平均回报提高约12.25%,平均回报方差减少约45.85%,算法性能和稳定性明显提升。