强化学习(reinforcement learning, RL)是一类重要的机器学习方法，在智能机器人、经济学、工业制造和博弈等领域得到了广泛的应用。强化学习是一种从环境状态到动作映射的学习，并期望动作从环境中获得的累积奖赏最大。强化学习可分为两个基本的过程：学习过程与规划过程。学习是指Agent与环境直接交互的过程，并在此过程中利用获得的直接经验来更新值函数以改进策略。规划是指在环境模型中进行学习的过程，并在此过程中利用模型产生的模拟经验来更新值函数以改进策略。针对强化学习方法在处理大状态空间问题时候存在的“维数灾”及收敛速度慢等普遍的严重问题，本文从提升规划收敛性能的角度出发，分别针对模型已知和模型未知的强化学习任务提出了2种优化的强化学习算法，主要研究内容概括如下：(1)提出了一种基于拓扑序列更新的值迭代算法—VI-TS算法，以提升传统值迭代算法的收敛速度和稳定性。VI-TS算法通过构造任务模型的有向图，分解出有向图的强连通变量，依照拓扑序列计算强连通分量中状态的值函数，以实现整个任务的求解。分解后的状态空间维度降低了，且算法迭代扫描的次数大幅减少，使得规划效率显著提高。VI-TS算法使用启发式搜索剔除动作空间中的非优动作，使得算法具有普遍适用性。本文分析了VI-TS算法收敛性，并通过实验来检验算法的收敛性和适用性。(2)提出了一种基于优先级扫描的Dyna结构优化算法—Dyna-PS算法，以进一步提高传统Dyna结构的收敛速度和收敛精度。Dyna-PS算法在Dyna结构规划部分采用优先级扫描算法的思想，对优先级函数值高的状态优先更新，剔除了传统值迭代、策略迭代过程中不相关和无更新意义的状态更新，提升了规划的收敛效率，从而进一步提升了Dyna结构算法的性能。本文在理论上对Dyna-PS的收敛性进行了证明，且通过实验验证了Dyna-PS算法的性能并做了相关分析。