近年来随着船舶执行的任务越来越复杂,人们对欠驱动船舶自动控制系统提出了更高的要求。自动靠泊系统是实现高效安全航行所不可或缺的一部分。随着无人船技术的发展,建立高效、准确的智能自动靠泊系统具有重要的实践意义。强化学习方法由于具有解决复杂控制与决策问题的潜力,已经成为目前人工智能领域热点研究方向,结合了强化学习与模仿学习的示教强化学习（RLf D）方法通过各类专家策略提供的数据可以提高智能体训练速度和稳定性,有较好地实际应用前景,但同时需要解决分布失配问题。本文针对欠驱动船舶自动靠泊问题,设计了两种结合Actor-Critic和模型预测控制的示教强化学习方法,并从理论和仿真两个方面说明了所提方法具有良好的收敛性并且可以有效解决分布失配问题。仿真结果显示示教强化学习算法相比于典型的无模型Actor-Critic算法学习速度提高了一半以上。本文的主要工作和创新点如下:（1）针对欠驱动船舶自动靠泊问题,在船舶数学建模的基础上将问题描述为马尔科夫决策过程,设计了强化学习解决自动靠泊问题的方案并使用无模型ActorCritic强化学习算法求解,仿真验证了强化学习方法在不依赖数学模型信息和运动规划的条件下可以完成自动靠泊任务。（2）针对无模型Actor-Critic算法收敛速度慢的问题,提出一种结合模型预测控制的RLf D方法。为了解决专家数据不足、专家策略次优的问题,设计了一种Actor-Critic结合模型预测控制的交互式专家控制器,可以为智能体提供专家数据并随智能体学习而同步提高性能。针对所提出的RLf D方法会出现的分布失配问题,在理论分析的基础上提出了两种改进技术。通过仿真说明了所提出的RLf D方法及其改进方法的有效性,相比于无模型Actor-Critic方法加快了训练速度,提高了学习效率。（3）通过理论分析将原强化学习问题转化为受限最优控制问题,在RLf D方法的基础上提出了SGAC算法。SGAC使用智能体与环境交互,专家策略只负责在线提供专家指导。在训练阶段使用对偶梯度法解决优化问题,从理论上分析了所提方法的收敛性。在自动靠泊仿真环境中进行测试,仿真结果说明了SGAC算法可以解决分布失配问题,且学习过程更加稳定,收敛速度更快。与无模型Actor-Critic算法相比,该算法所得到的靠泊轨迹更加平滑。