近年来随着人工智能AI（Artificial Intelligence,AI）领域不断发展创新,深度强化学习异军突起,在工业制造、金融学、心理学、医疗学、汽车自动驾驶等领域得到了广泛的应用。深度强化学习将深度学习与强化学习技术结合,经过近几年的迅猛发展,许多算法相继提出,如A3C（Asynchronous Adavantage Actor-Critic,A3C）,TRPO（Trust Region Policy Optimization,TRPO）,DDPG（Deep Deterministic Policy Gradient,DDPG）,PPO（Proximal Policy Optimization,PPO）等。另一方面,深度强化学习算法研究周期长、研发费用大,在工程研发中往往是一个巨大的开销。硬件加速器能够显著减少算法研究时间,加速工业化应用落地,帮助工程师快速部署AI技术,从而在人工智能市场上迅速抢占先机。目前针对深度强化学习的主流的硬件加速器包括CPU-GPU的加速模式和CPU-FPGA的加速模式。其中CPU-GPU平台具有NVIDIA提供的CUDA（Compute Unified Device Architecture,CUDA）支持库优势,在Tensor Flow和Py Torch上具有良好的生态环境,对于工程师来说是一个优秀的加速研究框架。它具有并行计算能力强、频率快、内存大的优势,但同时由于GPU的能耗开销大,在较小平台或大型服务器搭建方面有不可避免的能耗劣势。另一方面FPGA作为一种可编程器件,具有并行计算能力优秀,低功耗,可配置,资源丰富的特点,是深度强化学习的优秀加速硬件设备。但是硬件编程开发周期长的缺点,限制了CPU-FPGA平台的发展速度。本课题提出了一种新的深度强化学习DRL（Deep Reinforcement Learning,DRL）算法:LDPPS（Logarithmic Decay Proximal Policy Scaler,LDPPS）算法,以及其变体DPPS（Decay Proximal Policy Scaler,DPPS）算法。这两种算法针对PPO策略收敛能力进行优化,能够在部分mujoco任务中达到比PPO更高的得分。另一方面利用CPU-GPU平台,在Tensor Flow下使用CUDA和cu DNN（CUDA（?）Deep Neural Network library,cu DNN）库对本课题算法进行加速器设计;针对硬件编程开发周期长的缺点,本课题将LDPPS算法中大型矩阵运算通过Vivado的HLS工具转换为硬件IP核,缩短CPU-FPGA加速器开发流程,实现在使用CPU-FPGA的PYNQZ1平台上加速。最终结果显示,DPPS算法在策略易收敛任务上与PPO算法的得分基本持平,在策略收敛难度高的任务上比PPO同比高10～30%的得分;CPU-GPU平台相比单CPU运行速度达到了3.732倍的加速;PYNQ平台在实现低能耗相比单CPU在IPS（Inference Per Second,IPS）指标上达到了7.46倍的加速。