强化学习以马尔可夫决策过程为基础,普遍适用于各类序列决策与规划问题的建模,因此在机器学习研究中受到了越来越多的关注,并部署应用在一些现实世界场景中。然而,大量研究证据表明,通过强化学习训练得到的模型在面对不同的环境动态时缺乏足够的泛化能力:当训练环境包含一定的随机性时,强化学习模型在该环境中的表现往往具有很高的方差;当测试环境与训练环境存在微小差异时,在训练环境上表现良好的强化学习模型反而在测试环境中表现一落千丈。由此可知,泛化能力的缺乏为强化学习在现实世界的应用带来了新的挑战。在连续控制任务的背景下,本文将对强化学习的泛化能力问题进行系统性的研究。本工作的出发点在于,强化学习中泛化能力问题的主要原因,在于模型过拟合于一些具有较高价值估计、但面对随机性或环境变化缺乏稳定性的状态,在这些状态上进行策略迭代会降低模型的泛化能力。基于这种理解,本文提出在贝尔曼策略迭代的过程中对奖励函数加入状态稳定性正则,以此削弱具有较高价值估计但缺乏稳定性的状态的价值。由于本文采用最优策略与受到对抗扰动的最优策略之间的KL距离作为正则函数的定义,该方法也可以被认为是一种对抗训练的形式。为了便于在深度强化学习算法中对状态稳定正则函数进行高效准确的估计,本文通过数学推导得到了KL距离的下界形式。该下界具有非常简单的结构,满足马尔可夫决策过程对奖励函数的有界性假设,几乎不会为训练带来额外的计算量负担,可以非常容易地与各种模型强化学习算法相结合。此外,使用正则函数进行策略迭代时,算法的收敛性可以在理论层面上得到保障。本文以连续控制任务上较典型的TD3算法作为基准,在此基础上提出了正则化的TD3算法SIR-TD3,并在六个不同的连续控制任务上验证了正则函数对模型带来的影响。实验结果一致表明,在训练环境中,本文提出的正则化函数可以显著地降低模型的表现方差;而在加入了扰动的测试环境中,带有状态稳定性正则函数的模型比普通强化学习模型表现更加稳定,这证明了本文提出的正则函数可以有效地提高模型的泛化能力。