基于深度强化学习的野外机器人避障研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:ASky2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能技术的普及,机器人逐渐向智能化的方向发展,具有不同功能的智能机器人带给人们越来越多的便利。作为机器人领域的一个分支,野外机器人在复杂、恶劣场景下的侦查、探测、军事、搜救等任务中担任着重要的角色,这些场景需要野外机器人具有自主避障的能力。传统的避障系统中通常采用激光雷达以及多传感器融合进行环境感知,其硬件成本高,功耗大,且需要人为设计特征和避障策略。本课题对基于深度强化学习的避障系统进行研究,采用卷积神经网络作为野外机器人的方向控制模型,以野外机器人前置摄像头获取的图像数据为输入来控制机器人的转向以实现避障功能。此模型成本低、运算速度快,且能通过自主学习不断改善模型性能。在野外机器人的方向控制模型中,为了缩短强化学习的训练时间,采取深度学习预训练+迁移学习+强化学习的方式进行研究。本课题首先录制并采取数据增强的方式制作了包含60多万张图片的数据集,用于方向控制模型监督学习过程的训练。其次,设计了基于卷积神经网络的网络结构,采取由深度可分离卷积和全卷积层组成的网络,相比于传统卷积神经网络,极大幅度地减少了模型的参数数量。随后采取深度学习技术对模型进行有监督训练,使模型具备一定的避障能力。最后,采用迁移学习以及DQN和DDQN算法对模型进行微调,进一步提高模型的避障性能。课题中设定野外机器人以恒定的速度行驶,为了实现此功能,本文提出了一种基于负反馈思想的深度强化学习算法,并与循环神经网络相结合实现野外机器人的速度控制系统,基于此算法的速度控制模型能够让野外机器人通过不断与环境交互,从零开始自主学会以恒定速度行驶。实验结果表明,本课题所录制的数据样本能够满足监督训练过程中对数据的需求,而采用深度学习技术训练的方向控制模型,仅仅使用单目摄像头便能实现避障功能,避免了传统算法中需要多传感器融合以及对环境进行建模等过程,克服其硬件设备要求高,运算速度慢、灵活性差等缺点。而采用深度强化学习算法,机器人能够通过不断与环境进行交互自主学习,解决了深度学习算法需要大量高质量的数据集,人工成本高的问题,且其避障能力也有着较大的提升。此外,本课题所提出的速度控制方法避免了传统速度控制方法对系统进行建模的过程,且使用双通道输入的循环神经网络模型与传统神经网络模型相比,改善了基于普通前馈神经网络模型抗干扰能力差的缺点,且控制精度更高。
其他文献
复杂网络的同步和可控性研究对于理解网络的动态特性有着重要的意义,是网络科学的重要研究内容。然而,对于实际网络动辄成千上万的节点来说,判断他们是否同步和可控需要求解大量耦合方程,并且小规模网络得到的判据或定理不一定可以直接推广到大规模网络,这给大规模网络的计算和仿真都带来了巨大困难。网络的粗粒化技术是一种将大规模网络约简为小规模网络,同时保持网络的拓扑特性或动态特性不变的方法,是研究大规模网络的重要
学位
复杂网络中的某些节点或者边遭到攻击或破坏会造成网络故障,导致整个网络系统失去控制,从而引发各种灾难性的后果。当前针对复杂网络可控性问题中关键节点和边的发掘仍主要集中在节点度、节点介数和边介数等方法,忽视了复杂网络中的割点和桥边在可控性问题中的关键作用。因此本文讨论了复杂网络中割点和桥边在可控性问题中发挥的作用,为提高网络鲁棒性提供新的方法和思路,并将所提方法和理论应用于实际网络中验证有效性。基于复
学位
学位
晚近以来,随着互联网、智能终端设备等数字媒介技术的发展,社交媒体逐渐普及,并渗透到人们日常生活的方方面面。社交媒体的本质是连接,包括人与人的连接以及人与媒介技术的连接,连接一旦完成便形成了关系。以往关于社交媒体的研究更多关注的是人与人的连接,而相对忽略了社交媒体的物质基础,对人与媒介技术之关系的关注不够。本文试图站在数字媒介视角,探索中国社交媒体平台如何利用社交按钮在人与人、人与媒介技术之间建立关
学位
随着脑机接口技术的不断发展,单一范式的脑机接口系统由于产生的控制命令较少,不能满足机器人完成高复杂度任务的需求,所以混合脑机接口技术的研究成为主流。本文设计了一种基于混合脑机接口技术的机器人控制方法,通过检测alpha波阻断、稳态视觉诱发电位(Steady-State Visual Evoked Potential,SSVEP)、P300 信号实现机器人控制任务。本文的研究工作主要包括以下内容:首
学位
祥瑞文化由史前社会的图腾崇拜与巫术礼仪演变而来,经过了数千年的发展,最终深刻融入到中华民族的思想、道德、文化、习俗等各个方面之中。祥瑞纹样从侧面反映和记载了我国不同历史阶段中的思想道德,社会风俗、政治体制、生产力状况等多方面的内容,值得我们深入探索。习近平总书记强调:“文化是一个国家、一个民族的灵魂。没有高度的文化自信,没有文化的繁荣兴盛,就没有中华民族伟大复兴”。而祥瑞纹样作为中国传统文化的一种
学位
细胞质量是细胞的基本属性,它在很大程度上反映了细胞的代谢速度、生存状态等基本生命特征。单细胞的定位及其质量、密度等体征参数的测量可作为癌细胞定位、分类和筛选的重要手段,也可为药效研究以及疾病诊断提供科学依据。传统的微悬浮共振器(Suspended microchannel resonator,SMR)和光学显微平台检测细胞体征参数均存在检测精度不高、效率低等问题,并且显微视觉图像具有视场范围小、景
学位
双足机器人由于拥有高度模拟人腿的结构,能够更好地适应人类环境,具有代替人类在危险环境下进行高强度、高精度工作的潜力。然而双足机器人是一个复杂的内在不稳定系统,在运动过程中容易受到多种外界干扰,因此研究双足机器人步态控制以及抗扰动能力具有重要意义。本文在SHR-9S双足机器人实验平台上对双足机器人的步态规划、稳定性控制及平衡控制进行研究,论文主要研究内容如下:(1)根据SHR-9S机器人机械结构建立
学位
美国人类学家阿图罗·埃斯科瓦尔提出的多元世界、本体设计和自主性设计等思想观念,在当代西方设计界产生了深远影响。作为“后发展时代”的替代愿景,“多元世界”源自人类学本体论转向和新兴的政治本体论的分析框架。“本体设计”的认识论揭示了设计构造多元世界的巨大潜力,从而催生出设计与人类学结合的第四种范式—为多元世界的设计。为多元世界的设计有“为转型而设计”和“为自治而设计”两种取向。自主性设计既是本体设计的
期刊
实现板凸度的高精度控制是提高热轧带钢质量的关键技术之一。凸度仪安装在距精轧机组末机架出口 3-5m处,测量值获取的滞后严重影响了凸度控制的准确度和实时性。同时,板凸度受到众多生产因素的影响,这些影响具有非线性时变特征且无法用机理知识准确表达,各因素之间也存在不同程度的耦合作用,给板凸度的预测与控制增加了难度。本文详细地阐述了板凸度预测控制的基本知识与研究现状,系统地分析了热轧数据特征。针对传统数据
学位