人工智能在自动驾驶、服务型机器人等领域的应用,都需要一种在不确定的动态环境中决策的能力,这正是强化学习技术,一种通过与环境的交互和反馈的机器学习方法。强化学习是一种试错法,需要大量的学习样本,这也是它在实际中难以应用的原因之一。迁移学习是利用任务间的相似性,从已经学习好的模型中提取和迁移有效知识,加速解决新的未知任务的学习框架。在强化学习中的迁移学习有多种类型,如基于模型参数的迁移、基于子策略的迁移和基于表征的迁移等等,但已有的方法大多只适用于相同的状态-动作空间任务间的迁移情形。更高层次抽象知识的发现和提取,以及更灵活的迁移方法仍有待发明。在强化学习迁移中,状态空间的特征是经常被考虑的,而动作空间的特征和结构很少被涉及。强化学习任务的状态有很多不同类型,如用数字编码网格位置的小规模状态空间,和视频游戏中每帧像素表示的大规模状态空间。状态空间的表示和理解是个重要的难题,而动作空间的理解往往更为简单,如在导航任务中只涉及到东、西、南、北四个动作。不同动作序列的组合中包含了从环境学习到的知识。像层次强化学习中将动作空间分为高层次和低层次的两种类型后,问题的复杂度大大降低。动作空间结构的认识、动作序列的不同组合、动作间关系的挖掘,是一种更抽象的语义层次的知识。本文从动作空间的特征考虑,提出一种新的迁移知识——动作模式,形式化描述其为基于历史动作序列,下个动作的概率分布。本文的迁移框架主要包括两个部分:动作模式的提取和动作模式的迁移。在动作模式的提取部分,本文提出使用递归神经网络作为动作序列预测模型,对其建模。递归神经网络常用于序列数据建模,可以建立长时间的依赖关系,并且在理论上被证明图灵完全的。动作序列模型可以挖掘出强化学习任务的动作间的关系和某种行为规模,也可以作为生成模型产生与源任务动作序列相似的动作序列。在动作模式的迁移部分,我们提出了两种动作模式迁移算法:基于内在奖赏机制的动作模式迁移和启发式探索的动作模式迁移。基于内在奖赏机制的迁移利用了奖赏在强化学习中的重要性,将动作预测模型作为当前动作好坏的评价,有利于解决奖赏稀疏的问题;启发式探索的迁移直接从动作预测分布中采样出下一个动作,并用到探索策略中,该迁移方法没有需要调节的参数,且对目标任务的影响更小、更加稳定。为了验证这两种迁移方法的有效性和灵活性,我们在相同状态空间和不同状态空间任务间的迁移设置下进行了实验,实验结果表明动作模式的迁移极大地提高目标任务的学习速度。最后,本文将动作模式迁移的方法扩展到深度强化学习任务中,提出一种从小规模状态空间中提取知识,加速解决复杂的大规模状态空间任务的迁移方法。并且本文以DQN算法为基础,提出了动作模式迁移的DQN算法,并在ViZDoom的射击场景中验证了该算法在加速学习过程上的效果。