基于RGB-D视频序列的动态场景语义解析

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:lixin062
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来视觉SLAM被广泛应用于各种机器人任务场景当中,日渐复杂的视觉任务对场景模型表达语义信息的能力提出了更高的需求。由于深度学习方法在视觉领域呈现的有效性,许多研究使用网络层替换SLAM中的功能模块,使系统适用于特殊场景。然而现有方法存在着以下不足:第一,经典的SLAM方法对场景做出了静态假设,场景中动态对象的遮挡及运动干扰使得SLAM系统的定位和建图性能下降,现有方法使用几何或深度学习方法剔除场景中动态对象以排除干扰,但未能进一步有效利用场景中的动态语义信息对SLAM进行优化。第二,现有的语义建模方法将语义标注与地图基元进行对应,未能实现实例级别的语义标注,在实际应用中难以发挥作用,且场景中的动态对象被剔除于建模环节之外,使得场景模型语义信息不够完整。本文提出的DSP-SLAM方法针对以上问题做出了以下的工作:第一,基于现有的SLAM前端处理动态对象时使用的运动检测与删除方法,本文重新定义了动态对象及剔除的标准,并且针对运动情况提出语义ICP算法,通过决策是否使用动态对象参与相机位姿计算,在动态场景下跟踪精度提升的同时保证在一般场景下与先进方法具有同等水平的跟踪性能。第二,为了进一步利用场景中的动态对象约束和场景语义信息,提出了融合动态对象运动自约束与语义对应的SLAM后端因子图优化方法,并给出了因子图的构建模型及目标优化函数的推导过程。第三,在建图环节分别对静态场景和运动对象使用语义八叉树建图,在场景模型中同时维护了静态、动态语义结果。借此,动态对象能被正确显示并且随着对象运动更新位姿。实验结果表明,本文DSP-SLAM方法在TUM动态场景序列上绝对轨迹误差精度达到厘米级,与ORB SLAM2相比误差降低了一个数量级;同时在静态场景图像序列上DSP-SLAM前端通过语义ICP算法取得了高于Dyna SLAM的精度。DSP-SLAM后端基于GTSAM改进图优化技术,融合了动态与语义约束因子,在一些数据集上使误差在前端优化的基础上进一步减少了8%,证明了DSP-SLAM的因子图优化方法的科学性和有效性。DSP-SLAM最终给出了带有动态信息标注的语义场景结果。
其他文献
当今世界,互联网己经成为国家运行发展的命脉和基础,整个国家、社会、个人对网络的依赖程度越来越高。众多政府部门、组织、企业都在建立和扩展自有网络,并通过互联网对海量
虹膜识别是一种重要的身份鉴别手段,是生物特征识别的重要组成部分。由于虹膜的纹理结构具有高度的独特性和稳定性,虹膜识别具有非接触性、非侵犯性等特点,其在身份认证中的
随着能源的日益紧缺,以提高能源利用效率为目的的高效节能换热器已成为国内外研究的热点。对流换热强化技术中的被动强化技术因无需外部提供动力,因此被广泛应用于换热设备中
我国“富煤贫油少气”的能源结构决定了煤炭在很长一段时间内仍然是我国的主体能源。随着资源枯竭和环境污染压力的不断增大,生态保护的硬约束倒逼煤炭企业必须走以技术创新
实际工业中颗粒在粘弹性流体中的沉降是一种比较常见的两相流问题,比如:高聚合物的成型工艺等。对该类两相流问题,传统CFD方法对于复杂边界等问题的处理存在难题,而格子Boltz
技术融合作为新近创新发展的一个突出特征,深刻影响着企业的创新能力和产业的优化发展。掌握技术融合的未来发展趋势对先进者巩固优势地位或后发者实现追赶超越具有重要的意
目的:红景天苷(Salidroside,SAL)是植物红景天(Rhodiola rosea)的主要生物活性成分。已有研究表明红景天苷可通过改善胰岛素抵抗(insulin resistance,IR)而具有治疗2型糖尿病(Type 2 Diabetes,T2DM)的作用。肿瘤坏死因子-α(tumor necrosis factor-α,TNF-α)能促进棕榈酸(palmitic acid,PA)跨血
通信电源对通信设备来说是必不可少的,通信电源一般都是高效率的开关电源。开关电源将交流电转换为直流电的方式一般是先对交流电进行桥式整流,然后利用大电解电容进行滤波得
近几十年来移动机器人领域受到日益增多的重视,相关研究得到长足发展。现在机器人已经应用到各种领域中,如军事、工农业、日常生活等,来完成一些繁重及难以完成的工作,这也对
随着癌症类型的增多和癌症患者规模的增多,针对癌症的研究不断深入。同时,由于基因组学的发展,基因芯片和基因测序技术逐渐成熟,运用基因表达谱对癌症的分类预测和靶标确定的