基于强化学习的空间双臂智能协同捕获策略研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:minyuan07
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着航天技术的发展和航天应用的深化,在轨运行的航天器呈现出爆发式的增长,对空间服务提出了强烈需求:失效航天器需要通过在轨服务进行清理、故障航天器需要在轨服务进行维护、正常航天器可以通过在轨服务延寿和升级。初期由航天员进行在轨服务,存在风险大、成本高等问题,也难以适应在轨服务多样化和巨量的需求;而作为典型的空间机器人,空间机械臂展示出了强大的应用能力和广阔的应用空间。因此本文以空间机械臂为对象,针对空间目标捕获问题,开展双机械臂协同运动规划研究,重点分析了快速随机搜索树(Rapidly Exploring Random Tree,RRT)及其改进算法,并提出了基于深度确定策略梯度(Deep Deterministic Policy Gradient,DDPG)的双臂协同运动规划算法,对DDPG和RRT算法进行了对比分析。论文完成的主要工作及获得的结论如下:首先,采用D-H坐标法建立了机械臂运动学模型。每个机械臂均具有三自由度结构,采用D-H法建立各连杆间的关节坐标系,基于此分别进行机械臂的正向运动学和逆向运动学分析,完成了运动学建模。其次,建立了双机械臂的协同运动任务问题的数学模型。给出了运动规划目标的数学模型及评价标准,在对机械臂运动过程中的约束分析的基础上,采用轴向包围盒法建立障碍物模型和机械臂的胶囊体模型,并给出利用层次包围盒树算法对机械臂与障碍物之间和双臂之间的碰撞进行检测的算法。再次,分析了基于RRT及其改进算法的双机械臂运动规划算法。采用了基于采样空间快速随机扩展路径的RRT算法进行运动规划研究,考虑到该算法存在一定盲目性探索效率低,在此基础上研究了它的两个改进算法双向RRT算法和RRTstar算法,在V-REP仿真环境下对这三种算法进行仿真实验的验证及性能对比。最后,提出了基于DDPG的双臂协同运动规划算法。给出了双臂协同运动规划的DDPG算法模型,并进行了网络结构和参数设计,结合V-REP仿真模型进行模型训练得到该任务的规划策略,利用训练好的模型进行双臂运动规划实验,并展开与RRT算法的比较分析。结果表明,各种算法均能有效完成机械臂运动规划任务,其中RRT算法由于扩展随机性,每次得到的规划结果不一且效率偏低;双向RRT算法改进了具有贪婪性的导向性探索,规划效率提高,但仍无法保证规划结果质量;RRTstar算法在探索过程中加入了路径优化比较步骤,使其规划结果具有渐进最优性,但由于每一扩展步骤都要进行比较增加了运算负担,使规划效率降低;DDPG算法通过不断试错对模型进行训练使规划策略逐渐得到优化,训练完成的模型可以直接利用当前策略进行运动规划,既能得到优化的路径又保证了规划的高效性。
其他文献
引言 第二次世界大战后,北欧掀起了一场波及到多个国家的正常化(normalization)运动,该运动倡导残障人士不仅要享有与其他社会成员同等的生存权利,而且还应拥有尽可能接近普
张释之,南阳堵阳(今河南省方城)人。西汉文帝时,初为侍从官,后因政见独到,符合文帝治国安邦之策,得到文帝赏识,屡被提升,最后官到廷尉,位列九卿,掌管刑狱,成为西汉著名的法律
期刊
本文通过文献资料法,问卷调查法,访谈法等研究方法,对黑龙江省普通高校大学生体育课学习怠倦的情况进行了研究,并根据学生的实际情况进行了差异性比较。结果显示:不同性别大学
文艺本来是人民大众的。用审美的形式书写、凝聚人民群众的心愿和梦想,文艺才能有蓬勃的生机和长足的进步。坚持以人民为中心的创作导向,必须形成切实有效的引领机制。文艺批评
报纸
随着人民生活水平的提高和家用电器的不断增加,居民用电负荷总量也不断增加。所占地区用电负荷的比重也有增加之势,大量的居民生活用电有时会造成冬季、夏季用电高峰时段的负
目的探讨血液透析室护理风险管理的应用效果。方法选取2015年8月至2017年8月我院收治的血液透析患者52例作为研究对象,按照随机平均原则将其分为对照组与观察组各26例,其中对
本文介绍了国内外专业合作社的发展实践,分析了我国农民专业合作社发展取得的经验和成效,指出了我国农民专业合作社发展中存在准入门槛低,认识水平参差不一;运营制度不健全,
引言人因分析与分类系统(The Human Factors Analysis and Classification System,HFACS)是安全分析时广泛应用的人因分析工具之一,以航空为中心、在航海、铁道、煤矿、医疗等领
对高烈度地震区公路网的抗灾能力进行评价研究有着重要的意义。确立了从路段到路径,从路径到路网的公路网抗灾能力评价思路,提出了高烈度地震区公路网抗灾能力评价模型,并在
研究了多主体智能故障管理模型的结构及系统构成并给出了模型功能的实现。