随着人工智能技术的发展,船舶智能化成为航运领域发展的必然趋势,而航线规划技术已经成为智能船舶研究的七大关键技术之一,因此,探索更加优化的船舶路径规划方法对安全与智能化航运的发展具有重要理论价值与实际应用意义。目前,路径规划相关的算法较多,其中大多将规划环境和动作进行离散处理,与实际路径规划特点不太相符,同时,较少根据船舶航行特点进行路径规划,而且进行船舶局部路径规划时,大多数根据其他船舶的航行路线对本船的影响,动态地调整自身路线,从而导致本船的局部路径受他船影响较大等问题。针对这些问题,本文探索了利用深度强化学习中行动者-评论家方法解决连续空间的路径规划问题,并结合船舶航行特点与路径规划需求,对行动者-评论家方法加以改进。主要工作如下:1)基于船舶航行特点的船舶间避碰和静态障碍物避碰方法研究在剖析船舶路径规划特点的基础上,构建了面向船舶路径规划的船舶领域、船舶碰撞危险度模型及其运动参数的计算方法;探索了行动者-评论家方法与路径规划的契合点,重新建立了行动者-评论家方法中的奖励函数,设计了船舶间避碰策略;提出了船舶路径规划环境地图构建方法,并结合船舶领域模型,设计了适用于全局路径和局部路径规划的静态障碍物避碰方法。2)面向船舶避碰的局部路径规划方法研究以安全性和时效性作为船舶局部路径规划目标,将所设计的船舶间避碰策略和静态障碍物避碰方法与多智能体行动者-评论家方法(MADDPG算法)相结合,重新构建了MADDPG中的奖励函数,以实现安全性;针对MADDPG算法收敛速度较低问题,一方面,结合船舶领域和碰撞危险度模型,提出了基于局部更新的Q值计算方法,另一方面,重构了MADDPG算法中经验重放缓冲区,探索了基于混合抽样的高效经验重放方法;设计了基于MADDPG的船舶局部路径规划算法,实现了同时为多船规划局部无碰路径的目的。3)面向安全性和经济性的船舶全局路径规划方法研究以安全性和经济性作为全局路径规划目标,将所设计的静态障碍物避碰方法与单智能体行动者-评论家方法(PPO)相结合,重新设计PPO中的奖励函数,以实现安全性;针对PPO算法在路径规划前期学习盲目性较大,通过扩充算法的起始状态集合,设计了面向全局路径规划的PPO探索策略;设计了基于PPO的船舶全局路径规划算法,实现了安全前提下保证全局规划路径的经济性。4)实验验证与分析选择时效性、安全性和经济性作为评价指标,对本文设计的船舶全局路径和局部路径规划方法及其改进策略进行验证与分析;同时,与其它的船舶路径规划方法进行了实验对比;结果表明本文所提方法能有效规划安全的局部路径、安全和经济的全局路径。