导航即规划路线并控制机器人从当前位置移动至目标位置,是移动机器人的核心功能之一,随着移动机器人进入各行各业,其面对的环境更加复杂,这给机器人自主导航技术带来巨大的挑战。一方面,导航有避障和高效的基本要求,即机器人应当在运动路线上不与静态和动态障碍物发生碰撞且能尽快到达目标位置,另一方面,导航需要较强的泛化性能,因为现实场景中,传感器误差、场景变动等都会改变机器人的处境。目前虽然有许多成熟的传统导航算法,但一些算法在环境感知和理解上有所不足。深度强化学习可以赋予机器人学习和决策的能力,在机器人导航领域有巨大的应用前景。为了实现机器人的智能避障、高效移动,使导航适用于多种场景且尽可能降低硬件计算成本,本文基于深度强化学习在移动机器人导航问题上进行深入研究,从导航的分层结构和泛化性能入手,提出了机器人强化学习导航算法和策略迁移算法,并在仿真和现实场景中都进行了验证,有力地证明了本文算法的有效性,本文的主要内容如下:1.本文提出了一种基于分层结构的机器人强化学习导航算法。该算法的局部规划部分基于深度确定性策略梯度算法,其端到端、无地图的特性使其不依赖建图算法和人工设计估价方案,连续动作空间的设计赋予机器人更强的机动性,轻量的网络结构使其能在低成本的硬件平台上运行。全局规划部分是强化学习与PRM的结合,为了优化路网建图中稀疏、耗时的问题,我们提出了基于值函数的联结方法,从而在较短时间内建立可靠的路网图。最后,为了高效训练和评估上述算法,我们构建了一套定制化仿真环境,在多个场景中的实验证实了算法的有效性和适用性。2.在第一个工作的基础上,本文对强化学习导航环境变换的问题进行研究,给出了跨场景导航的泛化指导并提出了基于状态空间映射和单步重构的强化学习策略迁移算法。针对强化学习导航算法泛化性能受到的挑战,在状态空间变换不大的场景间,通过增加MDP数量和随机噪声的方法提升导航策略的泛化性能;在变换较大的场景间,基于迁移学习进行状态空间映射的方法避免了重新训练,同时根据决策的时序性引入步重构误差加速迁移,提升数据使用效率,相比于重新训练,迁移算法以较少的采样量得到了效果相当的策略。3.基于上述两种方法,本文将强化学习导航成功地应用在真实的办公场景中。结合定位、建图等算法,本文构建了一套完整的强化学习导航系统,利用Turtlebot3-Waffle机器人搭载该系统,在真实环境中实现了智能规划和动态避障,该系统可以作为独立模块部署在各种服务机器人中。相关实验表明,本文提出的方法具有较强的规划、避障性能和较强的迁移能力,在真实场景中的实践也充分说明了其实用性。