仿真环境下机械手臂推抓协同的深度强化学习算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:wudi120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
抓取检测是计算机视觉和智能机器人领域的一个重要分支内容。由于传统的机器人需要复杂的三维结构建模,过程繁琐,效果差。近几年兴起的深度学习方法虽然有较高的抓取成功率,但是需要人为调整大量参数、人工标注大量样本。随着深度强化学习在智能机器人领域研究的快速发展,研究工作者开始关注基于深度强化学习的自主抓取检测方法的研究。他们将提取到的RGB图像信息和深度图像输入到卷积神经网络中,并且利用卷积神经网络学习抽象特征,然后将所得到的抽象特征输入到强化学习算法中,从而构建基于深度强化学习的自主抓取检测模型。本文的研究内容主要是围绕在仿真环境下基于深度强化学习的抓取检测方法展开的。首先,详细阐述了深度强化学习的相关理论知识。接着总结了抓取检测的主要算法和模型。然后,针对机械手臂抓取检测的特点,深入研究了多模态信息融合、卷积神经网络特征提取、深度强化学习的值函数表示,提出了基于WNIN和Group Convolution的EFCN推抓协同方法。针对深度强化学习的奖励稀疏和训练过程中不稳定等问题,提出了结合动态更新策略和改进奖励函数的DQN推抓协同方法。最后利用机器人仿真平台V-REP搭建仿真实验。实验设置为在训练过程中每次随机摆放10个物体,然后当机械手臂抓取物体到达一定高度之后即视为抓取成功。在验证过程中,为了验证的可靠性和准确性,将在验证实验中随机摆放训练过程中没有出现过的10个物体,然后对抓取成功率进行计算。本文的创新点体现在以下六个方面:1、提出WNIN网络模块为模型引入表征能力更强的深度网络;2、利用Group Convolution为模型减少计算量同时提升性能;3、基于完全卷积神经网络,探索目前主流的几种完全卷积神经网络对本模型性能的影响;4、引入动态更新策略来提高网络训练中的稳定性;5、通过引入更多的特征,提出表达能力更强的奖励函数;6、利用V-REP仿真软件搭建实验平台,并进行了高效抓取检测的仿真实验。
其他文献
近年来,我国电网发展重心由输电网向配电网转移,对低压配电网的改造升级力度空前。综合评价以量化的计算结果准确反映台区运行状态和各项指标的满意程度,有助于遴选和针对性改造问题台区,然而,目前缺乏科学合理的评价指标体系与行之有效的赋权方法。关联规则简洁地描述了运行状态等级与指标间的潜在关系,与综合评价手段结合使用为供电部门从海量台区中高效快速筛选问题台区、制定针对性改造方案提供决策支持。因此,本文重点研
目前芯片向着高速、高密度、小型化的方向不断发展,其电磁干扰问题也在越来越严重,值得人们重视。电磁近场扫描技术无需探明芯片内部的结构细节,即可实时分析、快速诊断高速电路的电磁干扰问题,展现了极大的市场应用价值。国内这方面的研究快速发展,但是欧美仍占领着近场测量的领先地位。针对电子系统中的电磁干扰定位问题,本文提出了一种小型、宽带、非接触式的有源磁场检测方法和探头。该磁场探测方法采用有源磁场探测技术,
五彩斑斓的蝴蝶翅膀背后是光子晶体奇特的物理性质,光子晶体是由折射率不同的材料在空间上周期排列而成的人工微结构。它所具有的光子禁带和光子局域两大特性让它广泛应用于微型化、高性能的微纳光子器件的设计与制造,最终实现大规模的“全光网络”。但器件的性能总会受到制造中不可避免的无序干扰带来的散射影响,拓扑学在光学领域的引入恰好解决了这个问题,基于拓扑光子学的新型光子集成电路平台因波导对扰动免疫的巨大潜力而备
有机-无机金属卤化物杂化材料由于其组成、结构和功能的多样性及其在光电和光敏材料领域的广泛应用而备受研究关注。近年来,基于卤化铅的有机无机杂化钙钛矿材料和低维度杂化金属卤化物材料所显示的优异光电性能,使之成为了太阳能电池材料、荧光材料与X射线检测材料等方面研究的热点。本文主要着眼于探究有机胺气体分子与碘化铅类杂化钙钛矿材料的气固反应及其结构与成分转化的机制,低维结构镉基杂化光色荧光材料的结构设计与性
现有大型起重机械的测量与监测系统,依赖安装于机身的复杂传感器以测量实时参数从而判断起重机运行状态,不具备现场安装与拆卸易行性。为此,本文以“基于DCNN与边缘云的桥式起重机械运行状态图像监测技术研究”为题,设计起重机械运行状态图像监测总体架构,研究桥式起重机械关键部件DCNN识别与视觉测量方法,设计面向图像监测的边缘云系统、研究面向图像监测DCNN加速提升技术,研制桥式起重机械运行状态图像监测平台
高良姜是一种优质的药食同源植物,资源量丰富,在医药、调味品领域应用广泛,具备开发为功能性食品的潜力。目前针对高良姜的研究主要集中在黄酮类、二苯基庚烷类和挥发油类的药理活性方面,高良姜活性成分挖掘不充分、功能性质不明确、活性成分提取方式单一,限制了高良姜的高值化利用,同时制约着以高良姜活性成分为核心因子的健康食品开发。本研究采用分段提取的方式,分别制备得到高良姜黄酮组分以及高良姜多糖,考察高良姜多糖
改革开放以来,虽然我国汽车工业发展迅速,但是由于我国相关产业发展起步较晚,汽车相关技术相较于国外仍需进一步发展,特别是汽车安全领域技术。本文针对汽车被动安全中关键设备安全带系统进行研究,研究内容对于提升提高安全带系统开发效率、安全带系统约束性能、提高产品竞争力、以及提高企业效益具有重大意义。根据台车碰撞试验中乘员运动录像,建立二自由度乘员约束系统模型,根据实际安全带佩戴时的织带空间状态构建织带等效
近年来,历史建筑的管理与保护倍受广州市政府的重视。截止至2021年1月,广州市规划和自然资源局认定了817座广州历史建筑,并且紧跟时代的技术潮流,在国内首次推出针对历史建筑的数字化技术规范。本文针对广州历史建筑构件的检测和识别课题来源于企业项目,企业项目反映了广州市规划局的需求,具有非常重要的现实意义。企业给本研究提供原始数据集。数据集为多人拍摄的真实建筑照片。本文分析了数据集的特点并结合企业的要
绝缘子是输电线路上的关键组件,对其进行定期巡检是保障电力系统正常运行和稳定的一项重要预防措施。目前我国输电线路巡检方面无人机巡检正在逐步取代效率低下的人工巡检成为主要的巡检方式,又随着5G技术和计算机视觉技术的兴起与发展,智能巡检成为建设智能电网的关键一环。本文主要研究输电线路无人机巡检图像中绝缘子的实例分割算法,以及复合绝缘子过热缺陷和玻璃绝缘子自爆缺陷的检测算法。巡检图像的拍摄质量直接关系着图
随着国内社会生产力的不断发展,电力用户对供电高可靠性的需求越来越迫切,电力系统维护工程的可靠性和安全性占据更重要的位置。在电力系统检修工程期间,由于检修项目众多而且技术复杂,加上工期相对紧张,需各个检修工作面同时交叉开展,安全风险增加,这是检修工程安全管理的重要环节,因此,做好电力检修工程的安全风险管理工作,预防人身及设备安全事故事件的发生,是电力检修工程的重要保障。本论文首先归纳、梳理国内外关于