基于RGB-D信息的人-机器人运动重定向视觉关键技术研究

来源 :西北工业大学 | 被引量 : 0次 | 上传用户:pengsuli
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在执行动态复杂任务时,如何保证服务机器人具备灵活操作性以及整体动作流畅性是现阶段服务机器人应用中迫切需要解决的问题。目前,针对该问题,常见的解决方法有基于规划或者基于模仿的方法。其中,基于模仿的人-机器人运动重定向法由于其输入简单、动作自然仿生而受到广泛关注。该方法通过人体跟踪及对应关节映射,可将人体动作迁移到机器人上,实现人-机器人运动的重定向,从而生成流畅的机器人动作。随着消费级别彩色-深度(RGB-D)传感器的出现,由于能够同时提供色彩和深度信息,使得人-机器人运动重定向中人体姿态的获取、人体三维建模等关键技术变得更加便捷。虽然基于RGB-D信息的人-机器人运动重定向取得了一定的成果,但也存在一些问题有待进一步解决,例如建立的映射关系缺乏通用性、获取的深度信息精度不够以及生成人体三维建模过程复杂等。因此,本文针对RGB-D信息在人-机器人运动重定向中应用面临的以上问题开展了研究工作,重点研究了多频飞行时间相机的深度补偿,基于RGB-D信息的动态物体建模,基于深度信息的生成式人-机器人重定向以及RGB-D信息在人-机器人重定向中的应用。取得的研究成果如下:1)为减小多频飞行时间相机在曝光时间内物体运动以及相位融合中产生的偏差,提出一种基于光流以及空间核密度估计的实时补偿算法。首先获取原始的多频相位图像,计算出不同的频率之间的相对光流,获得每种频率下的补偿相位;然后针对不同频率的相位做出可信度假设并利用空间核密度估计对其进行排名,最后生成相位融合图以及与其相对应的深度图。采用标准数据集和Kinect V2相机获取原始多频相位图并结合GPU并行加速技术对该算法效果进行验证。结果表明该算法可以实时地对物体运动以及相位融合偏差进行补偿,有效地提高了深度图像的精度和稳定性。2)为了解决动态三维重建中的漂移问题,提出了一种在动态环境下建立非刚性物体三维模型及彩色模型的算法。首先将整体动态序列分为若干个小序列,并利用这些小序列完成局部面片的重建。然后利用全局非刚性配准将这些面片对准到一个统一的正则空间中,其中利用回环检测约束来减少累积误差,之后对生成的模型进行迭代更新,最终生成具有高精度几何信息以及高质量彩色图像的三维模型。在非刚性配准和回环检测中,利用几何和色彩信息来解决匹配的二义性问题。在仿真验证中,生成的三维模型在定量比对中可达到毫米级别的精度;在实际实验中,本文提出的算法可以生成完整紧致带有高保真色彩的模型。3)提出了一种基于深度信息生成式人-机器人重定向算法。首先,针对不同的实验对象及目标机器人生成一个参数化的HUMROB模型,该模型包含人体的运动参数以及机器人的关节配置;然后利用高斯混合模型对HUMROB进行形变来拟合实验对象的三维点云信息;形变过程中,加入对应机器人的关节信息以及稳定性约束;最后,利用形变计算出关节角并将其直接应用于人-机器人的运动重定向中。实验结果表明该算法在不同的实验对象上均取得了较好的效果,在确保稳定性的同时保证了重定向的相似性。4)在深度图像的基础上加入RGB图像信息,提出了一种基于RGB-D信息的生成式人-机器人重定向算法。首先利用实验对象的RGB图像获取人体的关节位置,结合与之对应的深度图像计算出关节点的空间三维位置,使用该信息对基于皮肤变换的多人体线性(SMPL)模型进行优化,获取当前状态下可驱动的人体三维模型;然后加入机器人的关节配置信息,生成可驱动的HRSMPL模型;最终,和3)相似,利用高斯混合模型对HRSMPL进行形变获取关节角并将其应用于人-机器人的运动重定向中。此外,在该算法的基础上加入头部跟踪以改善模型的整体效果。实验结果表明该算法可以根据RGB-D信息完成人-机器人的重定向,在不同的实验对象上均取得了较好的效果。
其他文献
随着新型教学理念的不断发展和积极应用,教育领域的相关问题已经受到了社会各界的广泛关注。其中,小学是学生提升各项思维能力的主要阶段,也是学生锻炼各项技能的主要时期,其重要程度不言而喻。小学数学教师深感肩上的重责大任,及时进行教学方式的革新,将宝贵的教学经验和崭新的教学技能进行有机融合,让学生能够在精彩纷呈的教学环境中领悟到数学知识的核心内涵,让学生能够在潜移默化中寻找到真正适合自己的学习方式,学生的
学位
中国的改革开放、世界经济全球化和“一带一路”建设为中国的出入境旅游提供了全面快速发展的机遇。旅游作为一个综合性的行业,在国际性事务中所发挥的作用越来越凸显,正对我国政治、外交、经济、社会、文化以及环境等领域产生日益重大的影响,旅游开始走向中国外交前沿,旅游外交逐渐成为中国新的非传统外交方式。旅游外交作为一个新兴领域,学术界虽对其给予了关注,但是一方面学者们更多关注国际旅游带来的市场和经济效益,对国
针对污水处理厂深度脱氮需求,选用黄铁矿(FeS2)和聚羟基丁酸戊酸酯(PHBV)两种材料,构建应用于污水处理厂二级出水深度脱氮的反硝化生物填充床,通过进出水水质监测、材料结构表征(扫描电镜)、高通量测序等技术手段,探究了FeS2-PHBV协同自养-异养反硝化体系的工艺运行效果及机理.结果表明,FeS2-PHBV协同反硝化体系脱氮速率优于单独FeS2自养体系,当水力停留时间为2h时,脱氮效率为90%
以黄铁矿为生物滤池的主要填料,对含低浓度NO3--N和PO43--P废水进行同步脱氮除磷处理,探讨其启动过程中污染物转化特性及其功能微生物变化。结果表明:经过30d的运行可实现生物滤池同步脱氮除磷,TN最大去除速率可达到70g/(m~3·d)。HRT控制在6h以内,可避免NO2--N的大量产生。出水ρ(TP)可降至0.2~0.4mg/L,HRT对滤池中磷的去除几乎未产生影响。SEM-EDX和磷形态
炭纤维增强碳化硅(Cf/SiC)复合材料是以炭纤维作为增强体,SiC陶瓷作为基体,通过特殊的工艺复合而成的一种新型结构功能材料,以其独特的低密度、高比强度、高比模量、高导热率、耐腐蚀、耐磨损、抗氧化、抗烧蚀等优异性能,被广泛应用于航空航天及军事等高新技术领域。然而传统Cf/SiC复合材料的制备流程繁琐、周期较长且经济性较差,其制备工艺仍待改进和优化,在高温环境中容易发生脆断并引发灾难性损毁,在极端
学位
江苏民间根植于江苏广大民众生活之中,不但从侧面展示了江苏人民的社会生活方式和民俗信仰,还体现了江苏地域性特征和深厚的长江流域文化底蕴。本文围绕江苏地区民间工艺美术研究为主要方向,从工艺的艺术特点研究、工艺的现状研究、工艺创新设计研究这三个方面出发,选取部分具有代表性的,能够体现江苏民间工艺美术研究艺术特点与发展趋势的研究文献内容进行整理、分类、总结,试图分析出江苏民间工艺学术的现状、发展情况和具体
我国高速铁路建设中会遇到很多的特殊性岩土地基问题,新建杭绍台铁路不可避免要进行硅藻土地基施工,但硅藻土具有很多不良工程特性,且目前国内外在硅藻土地基上暂无大规模建设铁路工程的相关经验,无法为新建杭绍台铁路硅藻土区域的铁路施工提供借鉴作用。鉴于此,本论文以中国铁设重点科研项目“杭绍台铁路硅藻岩(土)工程特性及对策研究”为依托,通过文献调研、室内土工试验、现场原位试验等手段,揭示了嵊州硅藻土性质,对比
在当前时代,信息技术已经成为时代发展的主旋律。并且,信息技术对于各行各业的影响也在不断地加深。基于此,在我国的教育体系当中也逐渐重视信息技术的有关教育,并且在小学阶段就设置了信息技术学科的教学课程。但是在当前互联网的背景下,如果对学生仍然是采取传统的教学模式进行信息技术教学的话,那么就很难实现教学的目标。只有基于当前的互联网背景,结合教学的实际情况研究出全新教学模式,才可以构建起更加高效且质量更高