随着人工智能技术的快速发展,面向深度强化学习的理论与应用研究备受关注,如:博弈推理、游戏对战以及最近的核聚变控制等。其中,强化学习技术性能的优劣决定了投入实际应用的难易程度,以及能产生的效益水平。然而,现有的深度强化学习算法多使用深度神经网络估计策略和价值,在解决连续控制任务时易产生累积估计误差,此误差会严重影响算法的高效性和鲁棒性。此外,现有的方法在解决估计误差问题时,还面临结构冗余、误差消除不彻底等问题。解决上述问题对提升深度强化学习算法在解决连续控制问题方面具有重要意义。基于上述问题,本文面向连续控制任务提出两种新型深度强化学习算法:（1）提出了基于行动者-评判者框架的目标价值迭代算法QVDDPG（QV Value Deep Deterministic Policy Gradient）。该算法通过设计新型目标函数,构建鲁棒的神经网络结构,解决深度强化学习所面临的收敛速度和鲁棒性问题。具体而言,首先,基于DDPG与TD3算法,在评判者模型中给出一种目标价值迭代更新方法,提高价值估计的精确程度与收敛速度;其次,在行动者模型中通过约束策略梯度的更新,提高策略以及其带动价值网络估值的稳定性;最后,建立基于隐藏状态的连续动作空间网络,提高策略对连续状态的敏感性。实验结果表明:QVDDPG算法能够充分利用深度神经网络架构,并提高算法的收敛速度和策略更新的鲁棒性。（2）提出了基于分布式价值的自适应误差控制算法DCSAC（Distribution Clusters Soft Actor Critic）。该算法通过设计一种新型的误差控制方法,融合适应性的残差网络结构,解决分布式强化学习所面临的估值准确性问题。具体而言,首先,在评判者模型中采用分布式的形式对价值进行估计,使用分位数损失函数和Wasserstein距离更新价值,并通过本文提出的基于逆向价值差的价值截断方法控制价值估计过程;其次,在行动者模型中提出使用一种排序基线方法控制梯度更新过程;最后,融合新型的深度神经网络架构,提高预测分布式价值和策略的精度。实验结果表明:DCSAC算法在不同任务环境中能够自适应地提高网络利用率、价值函数估计的准确度,提高算法在连续控制任务中的综合性能。