基于多模感知与深度强化学习的局部路径规划方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:ysc4444
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来人工智能技术在诸多领域取得了较大的成功,基于深度学习(DL)或深度强化学习(DRL)的局部路径规划方法得到了广泛的发展。基于DL的方法通常需要若干的人工标注或者专家演示,并且学到的动作通常也是有限于数据集的,泛化能力较差。基于深度强化学习的方法目前主要集中在仿真研究领域,很少有工作能够将算法模型最终部署在真实机器人上。本文提出了一种基于深度强化学习的无人地面车辆(UGV)局部路径规划方法。该方法将感知与决策解耦,利用图像与激光雷达结合的多模态感知与UGV周围环境进行可靠的在线交互,并直接进行策略学习,生成灵活动作,避免在行驶过程中与环境中的障碍物发生碰撞。在感知模块方面,为了缩小了仿真和真实环境之间的差距,我们将原始RGB图像替换为其中级视觉表示——语义分割图作为策略输入,其较好的过滤掉图像中的干扰因素并保留了决策规划所需的重要信息;考虑到真实UGV上有限的移动计算资源,我们选择一种轻量级语义分割模型,可以满足实时推断的需求,并专门设计语义分割老师学生模型提高其泛化能力;对于雷达数据,由于其在不同场景下没有本质上的区别,仿真与现实之间不存在明显的差异,因此我们简单的标准化处理。在策略模块方面,我们精心设计了一个轻量级的多模态数据融合网络框架,并引入模态分离学习减轻多模态高维状态空间带来的深度强化学习策略学习的困难;我们还引入两阶段的课程学习减轻直接在高度动态的复杂场景下策略学习的难度并且加速策略训练过程,并利用分布式的深度强化学习训练方法让多个智能体同时与环境交互提高数据采样效率;此外我们还根据局部路径规划任务精心设计了一组合适的奖励函数引导策略学习。在实验方面,我们报告了在仿真环境中课程学习不同阶段的训练曲线;利用松灵机器人SCOUT底盘以及英伟达Jetson TX2计算资源套件、树莓派摄像头、Hokuyo UTM-30LX激光雷达等硬件资源以及LINUX操作系统、ROS系统等软件资源搭建了真实环境实验中用到的UGV平台,然后分别在CARLA仿真环境、真实校园室外场景将所提出的方法与我们方法的两个消融版本以及一些目前最先进的一些其他方法做了对比。大量的实验数据证明,我们提出的方法表现更为优异,其较好的缩小了仿真和真实环境之间的差距,使得在仿真中训练的策略可以轻松的泛化到包含大量静态、动态障碍(如箱子、车辆和行人等)的真实场景。最后我们在室内建筑楼道场景对所提方法也进行了简单的实验测试,实验结果仍然表现优异,进一步证明了所提方法的可以较好的将感知与决策解耦。
其他文献
粗集理论是波兰数学家Z.Pawlak在1982年提出的一种新的处理模糊和不确定性知识的数学工具,其主要思想是在保持分类能力不变的前提下,通过知识约简,导出问题的决策或分类规则。粗集理论与概率方法、模糊集方法和证据理论等其他处理不确定性问题的理论的最显著区别是它无需提供问题所需处理的数据集合之外的任何先验知识。由于该理论未能包含处理不精确或不确定原始数据的机制,所以与其他处理不确定性问题的理论有很强
“双减”政策实行,让教育回归学校,使素质教育成为选择的新热点。作为素质教育的推进者和美育工作的执行者,教师开展课后服务社团活动,不但为学生提供一个展示自我、树立自信的平台,而且创建了一条促进素质教育改革的有效途径。
“双减”政策全面实施的大背景下,民办学校既要顺应政策要求,也要兼顾好社会教育需求。衡山县星源小学立足校情,践行“双减”政策,沿着提质减负的发展方向,大胆创新思路,在课后服务上探索出一条颇具特色的新路。一、丰富类型,打造课后服务团队星源小学为做好多样化课后服务工作,主要措施有:一是丰富课后服务类型。学校在一、二年级设置象棋、科学、跆拳道等课程,三至六年级开设葫芦丝、
期刊
文章首先阐述了“双减”背景下小学信息技术社团开展的必要性,然后分析了“双减”背景下小学信息技术社团开展存在的问题,接着提出了“双减”背景下小学信息技术社团开展策略,最后论述了“双减”背景下小学信息技术社团开展实践。
"健康、科普、艺术、劳动、运动、益智……"九大类共计64个社团活动,这是上海市第一师范学校附属小学课后服务所提供的社团活动"大菜单"的丰富内容。新学期开学以来,一师附小有九成以上的学生选择留在校园参加课后服务,60多门丰富的社团活动项目,让学生们学得尽兴、玩得尽兴。新学期开学,上海中小学实现课后服务再升级。这是上海市教委为全面落实"双减"教育工作部署,强化学校教育主阵地作用推出的行动之一。
期刊
落实“双减”的关键是做优做强学校教育。社团活动是学校教育活动的重要组成部分,是全面实施素质教育、培养学生核心素养的重要途径。“双减”背景下,校内“作业减负”后,学生在校内有更多的时间和空间来参加自己感兴趣的学习和实践活动。学校通过提供高质量的社团活动,可以为学生提供一个多元成长的平台,丰富校园文化和增加学校发展内涵。文章通过社团课程的校本实践案例,从社团活动的顶层设计、社团活动的具体实施办法、社团
随着5G技术和健康物联网技术的发展,便携式的动态心电设备已经成为一种新的趋势,这对于心脏疾病的早期发现及预防是至关重要的。然而,由于动态心电设备的检测环境复杂多变,并且ECG信号是一种易受干扰的生物电信号,因此由可穿戴式设备采集得到的ECG信号的质量参差不齐。因此,在心脏疾病诊疗之前,首先通过进行ECG信号的质量评估来剔除掉没有诊断价值的ECG数据,是非常有必要的。现有的ECG信号质量评估的方法由