室内服务机器人热场地图构建与目标检测技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:liulg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着生活水平的提高,人们对于服务机器人更加智能化的需求也越来越高,然而现如今服务机器人的智能化还远不能满足人们的期待。同时定位与建图技术(SLAM)是服务机器人在室内环境运行的基础,目前已经取得了很大进展,但服务机器人对环境感知和理解的能力远远无法满足其长期稳定运行和对环境进行安全监测的需求,比如对环境中温度的感知、物体的理解以及动态环境下的建图等。因此,本文将RGB-D相机与热红外相机相结合,用于智能服务机器人在动态环境下的热场地图构建与目标检测技术的研究,以提高机器人对环境的理解能力,具体内容如下:针对动态场景下的行人进行检测分割,以去除动态特征点,减小其对动态场景建图的影响。本文基于热红外相机与Kinect传感器,对比基于卷积神经网络端到端的行人分割算法,提出基于卷积神经网络与温度信息融合二维检测与三维空间映射结合的行人分割算法,对RGB图像和热红外相机获得的图像分别进行行人的二维包围框检测,然后结合温度信息初步分割行人,接着将初步分割结果映射到三维空间,采用点云滤波等算法,去除离群点,最终实现了行人的精确分割。结合提出的行人分割算法,以ORB-SLAM2算法为基础,对室内动态环境实现了三维环境热场地图的构建。首先将RGB-D相机和热红外传感器进行配准,然后基于HSV色彩空间,对彩色图和热红外图像进行融合,实现对环境中的纹理和温度信息的表示。接着结合行人分割算法,去除环境中检测到的动态行人的特征点,减小动态行人对位姿估计的影响,最终建立动态环境下的热场地图。为了提高服务机器人对环境的理解程度,本文基于三维物体识别算法建立物体级的语义热场地图。首先利用YOLOv3对环境中的物体进行二维检测,然后将得到的物体二维包围框投影到三维空间,并对三维点云进行聚类分割得到物体的点云。接着,采用基于凸多边形的物体三维尺寸和方向求解算法,得到物体的三维包围框。最后结合热场地图构建框架,构建物体级的语义热场地图,包含物体的类别、尺寸以及温度信息,从而提高机器人对环境的感知能力。本文移动机器人作为实验平台,在每章都给出了实验,验证了热红外相机与Kinect传感器相结合的行人分割算法的有效性以及动态场景下三维环境热场地图构建的准确性,同时验证了基于物体识别的三维语义热场地图的构建的可行性。
其他文献
以无人机为载体的倾斜摄影技术能够自动生成大规模的三维城市表面模型,已成为一种快速获取三维空间数据的常用手段,并广泛应用于数字城市、交通运输和城市规划等多个领域。然
随着物联网技术和无线通信技术的发展,人们对室内定位服务的需求日益增加。室内定位服务是根据室内位置所提供的数据来展开服务的。移动终端通过采集信息和匹配由地理位置坐
研究目的:探究自制蒙药那如-3缓释片剂制备过程及方法学研究,对比市售丸剂和自制蒙药那如-3缓释片剂的剂型异同点;探究自制蒙药那如-3缓释片剂和蒙药那如-3提取物、自制缓释微囊以及市售丸剂的质量相关性,完善蒙药那如-3质量控制标准化研究;在前期研究的基础上,探讨自制缓释微囊制剂对神经病理性疼痛小鼠的镇痛效应及分子机制,为其临床应用提供参考。研究方法:在前期缓释微囊确切制备工艺的研究方法上,通过药学性
目的:观察蒙医温针对疲劳模型大鼠下丘脑自由基的变化及蒙医温针的作用机制。方法:将50只雄性SD大鼠(体重160-180g)随机分成五组:正常组、正常+温针组、模型组、模型+温针组、模型+艾灸组,每组10只。造模前三天每天一次,每次20min适应性游泳,之后采用负重(体重5%,每三天称重)游泳,共21天。游泳期间若大鼠漂浮不动,用木棍驱赶,使其保持运动状态。10s内无法游出水面,视为力竭,迅速捞起并
石墨烯因其优异的电学、光学、热学和力学性质受到广泛的关注。石墨烯的这些优异的性质促使其具有广泛的应用。然而,单层石墨烯的零带隙特点一定程度上限制了它的应用。理论计算发现相互作用会导致多层石墨烯的带隙打开,这使得多层石墨烯的研究越来越受到重视。实验上发现,多层石墨烯的带隙随着温度增大逐渐变小,当温度增大到一个临界值,带隙完全关闭。然而,在理论计算方面,目前还没有在有限温下通过自洽平均场的方法对多层石
目前,国内高等级路面以半刚性沥青路面为主,半刚性沥青路面具有整体性好,刚度高,承载能力强等一系列优点,但是半刚性基层容易产生反射裂缝,尤其是在夏季气温较高,降雨量较大的地区,使得反射裂缝现象更加显著,为降低半刚性基层沥青路面早期破坏行为,倒装式沥青路面应运而生,其通过在半刚性基层与沥青面层之间加铺级配碎石过渡层,来抑制反射裂缝向上扩展,然而级配碎石材料为粒料材料,其回弹模量表现为应力依赖性而呈非线
艺术体操作为现代体操项目运动中重要的组成部分,对促进人的全面发展有着重要的作用。近年来我国艺术体操竞技水平在整体上呈现良好的发展态势,2021年是全运会年,各省市都在
为了有效的避免和减少消防员在救援时产生的伤亡,消防员在救援行动中普遍携带消防呼救器。现有的消防呼救器主要存在两方面问题:一是功能单一,无法获取救援现场信息;二是无法
计算机科学的发展进步,对现如今社会经济、日常生活与加工生产形成了深远的影响作用。今天,几乎每个人无论年龄大小,都被期望具备一些基本的计算技能可以适应新兴技术的发展,用计算机的相关方法和技术解决现实中各种各样的问题成为当代学生的基本素质之一,这种利用计算机解决问题的思维方式被叫做计算思维能力。我们应该让学生为未来做好准备,使他们有能力使用目前的技术来解决问题,基于此本文的研究内容主要如下:1.介绍了
1982年在达马尔市的地震是自1811年也门历史上的地震事件以来强度最大的,这让工程部门注意到许多已建立的高速公路桥梁延伸出瑕疵和裂缝。然而,这种意识和关心直到1990年也门统一之后都没有解决,那时也门统一地区超过了萨那的地震区,并处于也门共和国中部和东南部等中强地震区。对中强地震区与桥梁相关的地震问题的这种长期忽略,导致一系列桥梁在防震设计方面存在许多不足之处,为了更长久和有效地使用桥梁,必须对