值函数估计在深度强化学习算法中应用广泛,并且在状态和动作空间较复杂的环境中可以解决传统强化学习中遭遇的维度灾难问题。因此,值函数估计的研究在深度强化学习领域具有十分重要的意义。但在深度强化学习算法值函数估计的过程中存在一些问题:（1）在更新值函数的过程中,算法普遍选择当前状态下最大的动作状态值（Q值）估计来计算目标Q值,导致算法过高估计Q值,对性能造成不利影响。（2）基于值函数的深度强化学习算法在动作空间使用ε-贪婪探索策略进行决策,仅根据ε-贪婪探索策略在动作空间选择动作不会改变原有策略,探索效率较低,难以实现深度探索。本文针对这些问题,提出相应改进算法,主要工作如下:（1）针对更新值函数过程中存在的Q值过高估计问题,将偏差校正方法加入值函数更新公式,分别提出基于偏差校正的DQN算法和基于偏差校正的SAC算法。首先,分析了过估计问题产生的原因;其次,通过保存多个历史在线值网络模型,产生多个当前状态奖励的估计,计算奖励的估计方差,以此计算偏差校正项并将其应用于目标Q值计算公式,实现该方法与DQN和SAC算法的结合;最后,分别在Atari和Mu Jo Co环境进行对比实验。实验结果表明,基于偏差校正的算法能有效解决Q值过高估计问题,提升算法性能。（2）为进一步解决Q值过高估计问题,将优势学习方法加入值函数更新公式,提出基于优势学习的平均DQN算法和基于优势学习的SAC算法。首先,通过将当前状态对应的最大目标值网络Q值作为最优状态值的估计得到修正项,并将其加入目标Q值计算公式中,实现该方法与平均DQN算法结合;其次,通过把当前状态输入在线策略网络得到的动作作为最优动作,然后将该动作和当前状态输入目标Q网络中得到的Q值作为最优动作状态值,从而实现该方法与SAC算法结合;最后,分别在Atari和Mu Jo Co环境进行对比实验。实验结果表明,基于优势学习的算法性能强于基于偏差校正的算法,能更好地解决过估计问题。（3）针对深度强化学习中使用ε-贪婪探索导致探索效率低的问题,提出基于平均神经网络参数的DQN算法。首先,用链问题分析了使用ε-贪婪探索策略算法的探索效率;其次,介绍平均神经网络参数方法,该方法将智能体之前学习到的多个历史在线值网络参数进行平均,得到扰动神经网络,并且使用扰动神经网络进行动作选择,扰动神经网络输出值和在线值网络大不相同,通过扰动神经网络选择动作实现探索目的;最后,在链问题和Atari环境进行对比实验。实验结果表明,该算法能提高探索效率,有效解决深度探索问题,并且性能相较于基于偏差校正的算法和基于优势学习的算法更好。