强化学习是一类关键的机器学习方法,普遍应用于以目标为导向的训练环境,并基于目标在环境中自发地探索最优策略。近来已在一些领域,如游戏操控、机器人操控、车辆自动驾驶等工程应用的部分问题中,获得显著的成绩,其中包括动态规划算法,应用于已知完整的马尔可夫问题模型;蒙特卡洛算法,与时间差分算法基于无模型问题进行寻策,是本文的主要研究内容。深度学习在机器学习中作为另一大热门研究技术,使用非线性的神经网络于分析高维度输入数据的特征,从而学习用于各类场景。深度强化学习通过深度学习分析状态空间特征,利用强化学习输出决策动作,从而能够解决现实生活中高维度、大规模的寻策问题。深度强化学习中,经验样本需要智能体在实际场景中经历得到,而经验样本在很大程度影响智能体的学习成果。为了平衡探索度与最优贪心寻策的关系,常用的探索方法在动作空间引入噪声来进行探索,该方法有简单且训练效率高的优点,但难以根据训练进程进行调整。一种改进方法是在参数空间加入噪声,通过梯度下降学习噪声参数,在增加探索度的同时也带来减缓训练进程的弊端。针对这个问题,本文提出了动态噪声竞争Q网络算法,结合竞争网络结构和动态噪声模型,实验结果表明,提出的方法取得了更好的训练表现,训练稳定性有明显提升。在稀疏奖赏环境中,智能体很容易在训练中获取不到任何信息,且容易陷入反复探索已知状态的困境。为缓解这个问题,本文提出基于优先状态估计深度Q网络算法,在对状态进行访问时给予优先值,结合外部奖赏一并存入经验池中,引导探索的策略方向,使得智能体更倾向于探索未知状态以打破困境。在简单稀疏奖赏环境中进行试验比,结果表明该方法相对于基准算法在稀疏奖赏环境中具有更好的学习性能,取得了更高的平均分数。然而更复杂的稀疏奖赏环境往往伴随着复杂动作序列,为了减少该问题带来的影响,提出阶段式迁移学习方法,并利用实际游戏开发环境进行实验测试,结果表明阶段式学习方法很好的引导了智能体的学习方向,取得了更好的训练表现。