论文部分内容阅读
本研究关注的是不确定环境下无人驾驶船舶的自适应航行问题。为解决无人驾驶船舶的自主航行行为决策,提出了一种基于深度增强学习的无人驾驶船舶行为决策模型。该模型主要航行态势理解层和驾驶行为决策层,航行态势理解层主要是结合海上避碰规则对子场景进行量化建模,驾驶行为决策层是学习被量化的子场景中的环境状态以训练驾驶策略。采用deep Q-learning分别就环境模型、船舶动作空间、激励函数和搜索策略设计了基于马尔科夫决策过程的驾驶行为决策算法以实现无人驾驶船舶的智能避障与自主航行;最后,基于Python和Pygame设计了深度增强学习(Deep Reinforcement Learning,DRL)和引入人工势场(Artificial potential field,APF)改进深度增强学习(APF-DRL)算法的两组验证实验,分别从收敛趋势、迭代路径和避碰效果等方面分析实验数据。实验结果表明APF-DRL算法能更好地安全避让障碍物和决策驾驶行为,进一步表明了本文设计的算法的有效性和适用性。本研究的创新性成果如下:(1)应用本体论,从实体类与属性两方面对多源异构信息进行分析梳理,设计无人驾驶船舶航行态势本体概念模型进行航行态势理解建模,结合国际海上避碰规则对划分的场景进行量化处理,并建立用于避碰决策Prolog规则库。(2)设计无人驾驶船舶多目标增强学习行为决策算法。其中,具体设计了离散化的无人驾驶船舶行为决策空间、由安全避障及接近目标点组成的激励函数、行为选择策略、状态值函数等要素,实现了不确定环境下无人驾驶船舶航行行为决策。(3)引入APF的引力场概念,设计了 APF-DRL行为决策算法以改进基于DRL的行为决策算法迭代速度慢及易陷入局部迭代等问题。