移动机器人三维语义地图构建技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:dluflonline
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着AI技术的不断发展,以无人车、无人潜航器、无人机为代表的智能体成为学术界和工业界的研究热点。高效的语义SLAM系统是移动机器人在未知环境下进行自主定位、导航和人机交互等高级任务的基础。而三维语义地图的构建作为该系统的一项共性的核心技术,是当前的难点问题。特别是现有成熟的激光或者视觉SLAM系统还无法做到对环境中高维的语义信息的理解和应用。现有的语义SLAM系统的实现高度依赖强大的算力和不可解释的深度学习理论,并不适用于移动机器人的车载嵌入式计算平台。因此,本文在ORB-SLAM基础上,采用基于Yolov4改进的轻量化目标检测模块和融合2D候选框的三维语义地图构建方法,完成移动机器人轨迹估计的同时,构建更为准确的三维语义地图。其主要工作包含如下几个方面。首先,针对卷积神经网络的目标检测算法对计算平台的计算能力要求较高的问题,基于单阶段检测器Yolov4,重新设计了一种轻量化特征提取器网络,调整网络结构和相关超参数,并且融合元网络场景分类器,用于提高目标检测的实时性;结合公开数据集和实验环境数据集训练神经网络,得到满足实验要求的模型权重文件,基于此完成移动机器人环境语义信息提取;其次,针对基于Yolov4目标检测算法对计算能力要求高的问题,设计了一种元网络场景分类器和轻量化目标检测网络,对检测场景进行分类和关键帧的目标检测。并针对当前目标识别结果中候选框为轴对齐情况下,无法有效表征物体在图像中的角度和位姿信息,以及在此基础上进行三维点云的语义分割时造成较大误差的问题,提出了一种新的端到端的任意方向目标检测方法。该方法用于检测图像中大长宽比的目标,并融合2D目标检测候选框来分割三维点云,获得更准确的三维点云分割和数据关联的语义地图。最后,本文搭建了移动机器人三维语义地图构建的原型系统,来实现和验证本文所提的方法。结合公开数据集和实际实验数据,对本文所提的方法进行验证和分析,结果表明,本文所提方法以及在此基础上构建的原型系统,具备可行性和实用性。
其他文献
视线跟踪技术是一种检测人眼视线方向或注视点的技术,广泛应用于教学质量评估系统、生产线工人注意力监测、疲劳驾驶、虚拟现实、广告分析等诸多场景。但由于当前视线跟踪技术通常采用基于RGBD图像或红外图像的视线跟踪算法,通常需依赖深度相机和红外相机等外部设备,导致应用过程中使用不便,成本高,且应用场景受限。论文在分析国内外视线跟踪相关算法的基础上,提出一种基于深度学习并使用单目RGB图像为输入的视线跟踪算
双目立体视觉是计算机视觉领域中的核心成分,在获取深度信息方面具有成本低、灵活性高和实现方便的优点,因此被广泛的应用在三维重建、虚拟现实、机器人视觉以及无人驾驶等领域。立体匹配在双目立体视觉中起着决定性的作用,立体匹配算法的目的是找到立体图像之间每个像素的对应关系来估计视差。目前,端到端卷积神经网络在立体匹配任务上取得了令人印象深刻的性能,但是仍然存在一些问题:在遮挡和无纹理区域匹配精度低以及匹配的
吸波涂层对于现代军事领域实现武器装备的隐身功能有着至关重要的作用,但由于吸波涂层具有厚度薄、涂覆面积大、使用环境恶劣以及工艺复杂等特点,在成型以及使用过程中易受人为因素或者环境影响产生裂纹、撞击及脱粘等缺陷,从而影响吸波材料的隐身性能。常见的吸波涂层裂纹及撞击类缺陷主要表现在物体的表面,有些较为明显的缺陷甚至可以通过肉眼直接进行观察,但吸波涂层的材料结构一般采用的是多层异质吸波涂层,其中,脱粘类的
随着电子信息技术的迅速发展,自动测试系统ATS(Automatic test system)的应用愈加广泛。开关系统作为ATS中信息交互的中枢,承担着连接测试设备与被测件的重要功能,因此成为ATS中必不可少的组成部分。矩阵开关凭借其集成度高、结构灵活等特点,越来越多地应用在自动测试系统中,但是由于频繁使用与自身结构特点,矩阵开关的自身可靠性并不高,为保障ATS的正常工作,对开关系统自检功能的研究就
信息时代,随着电子信息技术迅猛发展,对电子测量仪器提出了更高的要求。多ADC时间交替采样技术(Time-interleaved ADC,TIADC)是当前国内研究采样率提升的主流方案,TIADC系统中要提高采样率的前提是实现系统中多器件采集同步且系统采样率越高对同步精度要求越高,同时,系统中因多片分离器件的非一致性所造成的失配误差使系统性能下降。为实现系统高采样率同步、高分辨率采样及失配误差校正,
伴随着5G通信、雷达侦测等技术的发展,数据采集系统在速率,带宽与精度等指标上也面临更高的需求。光学时间拉伸模数转换器(TS-ADC)通过光子学所具有的宽带、低抖动、抗电磁干扰等特性,利用光学时间拉伸技术对高频信号进行时域展宽,实现传统电子ADC性能的突破,采集系统的采样率、模拟带宽等指标的提升。而在光学时间拉伸过程中将难以避免的引入光载波包络失真以及群速度色散相位偏移失真等误差,这导致其难以得到广
碳纤维增强复合材料(CFRP)具有强度高、密度低等良好性质,然而它在长时间服役过程中会产生脱粘断裂等缺陷,给设备带来潜在的安全隐患。基于光激励的红外无损检测技术具有非接触、安全、速度快、易于操作等优势,常被应用于复合材料内部缺陷检测。但是采集的热视频,基于材料和设备本身性质,会受到高背景噪声等的干扰,无法直接观测缺陷,因此缺陷检测算法具有必要性。深度学习算法能够对视频序列数据进行特征提取,通过自行
近年来,随着弱磁传感器的快速发展,基于原子磁力仪结构的弱磁传感器在理论水平上实现了弱磁传感领域里的最高磁场灵敏度。特别是基于无自旋交换弛豫(spin-exchange relaxation free,SERF)理论制作的磁力仪,其灵敏度已经超过超导量子干涉仪(superconducting quantum interferometers,SQUIDs),并且低成本、微型化的优势使其在弱磁探测领域被
用以运输天然气和石油的管道是国家经济发展的重要通道之一,它属于铁磁性材料,相对磁导率远大于1容易磁化。管道服役过程中,容易遭受地质灾害、地壳运动、内外酸性介质腐蚀等环境的影响,在管道内外部、焊缝处造成不同程度腐蚀和破坏,导致管道爆炸、输送介质泄露等重大安全事故。因此,对管道定期安全性检测与维护具有重要意义。本文研究基于电磁涡流检测技术对油气管道内部表面缺陷的检测。涡流检测是以电磁感应原理为基础的无
如今随着生活和工作的压力增大,人们越发关注自己的身心健康状况。人体行为识别在生活中占据着重要位置,在医疗,健康,娱乐,监控方面均有涉及。对获取有时效性,便捷性,可视化简单信息的需求增加,通过可穿戴设备进行人体行为识别的发展可观。传统的人体行为识别方法往往只是借助可穿戴,摄像头,录音笔等设备获取原始数据,离线分析得出结果,但这些方法得到的结果具有滞后性,获取信息,标定数据过程繁琐。如何快速便捷地采集