基于深度强化学习的移动机器人路径规划研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:bae2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,移动机器人在人们的生产生活中得到了广泛应用,路径规划作为移动机器人领域的关键技术之一,对于实现机器人自主移动具有重要意义,其研究方向正在向着智能化的方向发展。深度强化学习是机器学习领域的一个分支,在决策类问题上有着的出色表现,可以很好地用于解决移动机器人的路径规划问题。本文将深度强化学习与移动机器人的路径规划相结合,并围绕路径规划这一核心问题,在机器人的路径跟踪与地图构建方面开展了一定的研究,主要内容如下:(1)在ROS系统下搭建了四轮移动机器人模型,使用纯跟踪算法完成了该机器人对既定路径的自动追踪。首先对纯跟踪算法进行模拟,分析比较不同情况下该算法对路径的拟合效果。之后在ROS系统下,通过XACRO文件编写移动机器人的三维模型,并在Gazebo三维物理仿真环境下进行运动模拟,以此来分析纯跟踪算法对于本文四轮移动机器人控制的可行性。最后,在仿真环境中控制机器人,使机器人能够按照深度强化学习算法规划出的移动路径进行自主移动。(2)使用激光SLAM方法来感知周围环境,解决机器人在路径规划过程中的定位问题。在Gazebo中搭建了移动机器人路径规划的三维环境,分别使用Gmapping、HectorSLAM和Catrographer三种激光SLAM算法完成了对该环境的地图创建,从地图中获取机器人所在环境下的障碍物坐标。为了进一步比较不同SLAM算法的精度,在室内环境下使用Turtle Bot3移动机器人进行实验,,分析比较三种SLAM算法的精度。(3)搭建了移动机器人路径规划的环境,使用深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)深度强化学习算法用于移动机器人的路径规划。本文使用Tensor Flow深度学习框架搭建了DDPG算法的深度神经网络;使用Python中的Pyglet模块编写了路径规划的动态实验环境,在该环境下对神经网络进行训练,实现了对深度强化学习训练过程和训练结果的可视化。(4)提出了使用人工势场法设置深度强化学习的奖励函数。在本文搭建的深度强化学习路径规划环境中,将人工势场方法的奖励函数与仅参考移动机器人距目标点信息所奖励函数进行比较,分析本文提出的方法在神经网络训练速度与准确度方面有效性。
其他文献
人工骨植入人体来进行骨骼修复是目前临床医学的研究重点。在人工骨制备过程中,互联互通的孔隙与机械性能是两大关键特征。传统方法以及目前市场上主流的金属3D打印方法对金属材料的加工受到一定限制,无法加工特定形状的微小孔隙(小于200μm)。同时人工骨的机械性能与其内部孔隙关联度高,二者很难同时符合人体需求。为制备具有高精度微小孔隙结构的人工骨,制备结构、性能两者皆符合人体需求的人工骨,本文选用浆料直写3
在一些人类无法到达或可能危及生命安全的场合,如行星表面探测、泥石流、地震、井下塌方事故等,非结构地形、崎岖不平是这些场合的共同特点,轮式和履带式机器人在这些环境中的应用受到限制。六足机器人的结构特点相比于轮式、履带式机器人具有自由度多、越障能力强等优势。大型六足机器人的设计研发可促进国家机器人技术的发展,对于科技与国防具有非常重要的现实意义及研究价值,六足机器人的研究过程可以为实际工程应用带来极具
聊城地区历史悠久,形成了丰富的优秀传统地方特色文化。但是就目前而言,受到外来文化的冲击,再加上保护不到位,聊城优秀传统文化的传承存在一定的问题。聊城地区需要不断加大特色文化资源开发的力度,积极推进基层文化建设、文化惠民工程,推动文化产业化的发展,丰富文化创新空间,激发人民群众的参与性,实现传统优秀文化更好的传承与发展。因此,本文结合聊城优秀传统文化传承发展的重要作用,结合实际传承存在的问题,从跨文
视觉检测作为非接触式检测技术,是一项集机械、计算机、图像和自动控制等多学科于一体的综合交叉式技术,实现功能多,应用范围广。在工业生产领域,作为智能制造的重点,视觉检测技术在中国制造2025战略和庞大制造业市场需求的双重驱动下,迎来了前所未有的黄金发展期。视觉检测技术对于实现工件的智能检测具有巨大的实用和经济价值,所以有必要展开对视觉检测中相关技术的研究。图像滤波去噪和边缘检测是视觉检测的重要技术,
代谢组学是系统生物学的重要组成部分,主要针对一定时期内细胞中的代谢物进行分析。代谢物主要是指参与细胞反应的小分子,可以提供有关于细胞状态的详细信息,为后续的研究提供基础。质谱法是识别代谢物的标准方法,能够对化学样品进行详细的分析。样品在被电离后会产生离子混合物,质谱仪中的质量分析器能够根据质荷比对离子混合物进行分离并得到质谱。利用质谱可以构建出碎片树,用于解释实验样品的碎裂过程。碎片树由一组节点表
植物真菌病是一种侵染性病害,有侵染过程和传染性,种类繁多,占全部植物病害的80%左右,其中稻瘟菌、致病疫霉和灰霉菌给植物带来严重危害。稻瘟菌和致病疫霉导致粮食减产严重。灰霉菌宿主广泛,是限制温室大棚植物生产的首要因素。近年来研究发现致病真菌与植物存在sRNA(small RNA)跨界调控机制,在目前已有研究中,研究者均使用生物实验的方法对少数特定的真菌sRNA序列进行共性研究,而生物实验具有一定的
近年来,我国经济持续增长,不断推动着基础建设和生产制造业的发展。但与此同时,我国生产安全形势日益严峻,安全事故不断发生。其中人的不规范行为是造成安全事故的主要原因之一,具体包括:施工时工人不正确穿戴制服和安全帽;工人在施工时存在一些危险行为如打电话、摔倒、长时间蹲坐等。目前如何减少安全事故的发生,加强对工人的安全管理成为一项复杂而重要的工作。本文结合人工智能中的深度学习与机器学习技术,对采集到的大
当前,中国失能老人面临传统家庭养老功能弱化及社会养老支持不足的困境,个人养老风险增加。社会学领域中社会资本研究关注人际互动后形成的社会网络给个人、团体或社会整体带来的资源及秩序。本文基于中国健康与养老追踪调查2018年全国调查数据,利用有序Probit回归分析方法验证社会资本对我国失能老人生活满意度的相关影响。研究结果显示:配偶和子女的照护会增加失能老人的内疚感,降低对生活的满意度,但对于重度失能
随着2017年“戏精”一词的出现与走红,更多具有创新性的类词缀“精”的派生词“X精”开始在网络上和日常生活中被人们频繁使用。在中国生活的留学生迫切地希望融入汉语社团,对于此类流行词语的掌握就显得十分必要。因此,在对外汉语课堂中也应该增加相关内容。目前对“精”的研究主要集中在对“戏精”、“杠精”、“柠檬精”进行历史语义溯源、词法分析、流行原因分析。此外,还有部分研究是对“X精”类词语进行集中分析,探
随着先进陶瓷材料、复合材料等高性能材料技术快速发展,传统加工方法已难以高效加工这些材料。特种加工技术被广泛应用于高性能材料的生产制造中,磨料水射流加工是特种加工技术的一种,其加工时在加工区域不会产生热量,没有热变形,是唯一一种冷加工技术,具有能够加工金属、非金属、复合材料、陶瓷、橡胶等几乎所有材料、材料去除率高、加工后表面完整性好等优点,引起了国内外学者的广泛关注。但是磨料水射流加工技术也存在着一