序列决策问题的求解能力是人工智能的核心要素之一,强化学习是一种序列决策问题的求解方法。无模型的强化学习算法在诸多应用中获得了显著的成果,但需要与环境进行大量交互以获取足够的数据进行策略的训练。而基于模型的强化学习算法通过利用无模型强化学习算法难以利用的低奖励数据,学习得到环境的动态模型,使策略使用模型模拟的数据,从而大大减少与真实环境所需的交互数。基于模型的强化学习由最优控制领域发展而来,原本用于解决完全已知模型的情况下的序列决策问题,最优控制相关的算法通常无需或仅需少量交互即可得到最优策略。使用模型还能提高算法在更多场景的适应能力和扩展能力,模型的预测能力也体现了人类智能中预测和规划的智能模式。但是在复杂的环境中,学习的模型无法避免较高的预测误差的问题,从而导致算法性能比相应的无模型方法差。本文分析了模型误差对强化学习算法性能的影响,并提出了一种优化模型本身的方法,称为目标导向模型。该方法使用Dyna框架实例化的算法在众多主流的强化学习标准测试环境中取得了优于最前沿无模型和有模型强化学习算法的成绩。目标导向模型使用无模型算法提供的状态价值信息计算该状态的时间差分误差,用于表示场景的重要程度,模型训练使用基于该时间差分误差的优先经验重放训练方法,将场景的重要程度引入模型训练。与基本的Dyna算法框架结合,本文设计了基于目标导向模型的强化学习算法。优化训练的模型用于生成模拟的与真实环境交互的经验,无模型算法使用真实经验和模拟经验共同训练,以此减少对真实环境的交互的需求。本文在一系列Mu Jo Co的控制基准任务上对目标导向模型方法进行了实验和分析。实验表明通过对模型训练方式的调整,本文的方法可以降低使用模型的预测误差问题,并在长期预测中保持了稳定而较高的性能。本文的方法能显著提高无模型强化学习算法的采样效率。本文的方法很容易扩展到现有最前沿的显式估计状态价值或状态动作价值的无模型和有模型强化学习算法中。