基于RGB图像的面向开放场景物体6D姿态估计方法研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:lqylzy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
物体6D姿态估计技术是人工智能三维感知领域核心问题之一,旨在帮助机器更好地感知世界的三维信息,是机器人控制,自动驾驶,增强现实应用中的核心技术。近年来受到了研究人员和相关行业从业者的广泛关注。目前的方法大多利用深度卷积神经网络学习图像和物体6D姿态间的映射关系。然而这类方法依赖大量人工标注的图像数据进行学习,不仅标注成本极高,并且容易陷入对单一场景的过拟合,导致在开放环境中性能下降,在实际应用中效果较差。此外,由于实验场景与真实环境差别很大,很难评估物体6D姿态估计算法在实际应用中的有效性。本文以RGB图像为基础,研究基于面向开放、复杂场景下的物体6D姿态估计问题,聚焦于使用廉价标注数据训练网络,挖掘不依赖环境的物体姿态本质特征来解决上述问题。本文将真实情况下较易获取的标注数据划分为两种情境,一种是利用物体三维模型自动产生大量的合成图像,另一种是利用拍摄相机间的相对姿态变化作为标注信息。本文将分别在两种数据环境下研究基于深度网络模型的物体6D姿态估计算法。为了提模型升在跨域环境下的泛化能力,提出通过图卷积网络学习真实图像与合成图像中体现物体本质的共有特征,从而对姿态估计模型进行优化。在提出的物体6D姿态估计算法基础上,设计一个增强现实系统实现文物的虚实融合展示,验证了算法的有效性。具体研究内容如下:(1)提出了基于合成图像的物体6D姿态估计方法,利用物体三维模型生成大量带姿态标注的合成图像,避免复杂的人工标注过程。通过多样性图像合成方案和网络预训练策略减少领域偏移对检测性能的负面影响。并且设计了一个端到端的网络架构以完全可微方式实现关键点检测、姿态推理和姿态校准,减少了姿态估计过程的复杂度,同时提升了检测速度,并且可以直接以姿态信息作为标签对网络进行优化,提升姿态估计精度。(2)提出了基于相对姿态变化的物体6D姿态估计方法,设计了一个基于多任务学习的关键点检测和姿态估计框架。该框架使用成对的图像及其拍摄视点之间的相对变化作为训练数据,让网络自动的寻找物体上具有视觉和几何一致性的三维关键点。物体的6D姿态可以通过一个基于关键点的推理方法计算得到。视点之间的相对变换可以从图像采集设备比如照相机或者智能手机上获得,因此大大降低了标注的工作量。(3)提出了基于图卷积的深度学习物体6D姿态模型优化方法,该方法通过检测物体关键点来计算物体姿态,利用图卷积网络学习关键点之间的几何结构关系。这种几何关系是在真实图像与合成图像之间共有、不变的特征。通过在合成图像上学习这些特征,来指导网络在真实图像上的训练,从而提升网络在开放场景的跨域检测能力,减少了对人工标注数据的依赖性。(4)针对本文提出的物体6D姿态估算法进行了实际应用验证。设计了一种基于6D姿态估计技术的增强现实系统,将本文提出的方法作为姿态估计模块部署在增强现实系统中。在文物虚实融合展示的场景下验证了本文所提出的物体6D姿态估计方法和网络优化策略的有效性。
其他文献
烟草是我国主要的经济作物之一,在烤烟原料生产过程中,为了满足烟叶生长需求,在种植时存在大量施用无机肥的现象,然而长期大量无机化肥的投入严重恶化了烟田土壤,在造成大量资源浪费的同时,也并未提高烟叶品质。有机肥的成本相对较低,肥效时间长,可利用率高,并可以有效的改善土壤理化性质,均衡提供烟叶生长所需养分。因此通过使用不同类型肥料配施来改善土壤结构和培养土壤肥力的方法,将有利于改善烟叶品质,提高烤烟经济
本研究围绕光声成像在克罗恩病中的研究为主题展开并讨论,主要包括四个方面:多光谱光声成像在克罗恩病动物模型中的研究、多光谱光声成像在人体克罗恩病中的研究、弹性-光声成像在克罗恩病动物模型中的研究、内窥式光声成像在克罗恩病中的研究。本工作在介绍理论背景以及前期临床研究的调研工作后,首先讨论了使用多光谱光声成像在克罗恩病动物模型中的研究这一课题。多光谱光声成像实现了光声成像可以提供生物分子含量信息的功能
本论文研究了多种类型的环形纳米光学天线,在可见光波段可实现宽带可调的自发辐射增强,基于角向传播表面等离激元(surface plasmon polaritons,SPP)模式,建立了SPP半解析模型,明确了天线自发辐射增强背后的物理机制。当荧光分子或量子点等辐射源置于纳米光学天线附近时,由于天线谐振效应,辐射源的自发辐射速率将会得到显著提高。由于分子或量子点的荧光发射波长范围通常在几十到几百纳米,
研究背景及目的肝细胞癌(hepatocellular carcinoma,HCC)是肝脏常见的恶性肿瘤,患者的五年生存率较低,主要与HCC的治疗选择有限,强侵袭和转移特性有关。糖基化修饰不仅参与调控癌细胞的生长和增殖,还能调控癌细胞间的粘附作用,促进癌症的转移和侵袭。然而,糖基化修饰参与HCC发展和转移的具体机制尚不清楚。因此,本研究结合蛋白质组学和糖蛋白质对不同临床状态的HCC组织和其上皮-间质
过渡金属活化过硫酸氢盐(PMS)降解有机污染物技术近年来发展潜力巨大。均相催化剂如二价钴离子(Co2+)和非均相催化剂如合成的铜-钴氧化物、零价铁(Fe0)廉价易得、催化效率高、反应条件温和,可以有效激发PMS,产生硫酸根自由基(SO4·-)和羟基自由基(·OH)等活性物质。本研究利用铜-钴氧化物、Fe0和Co2+活化PMS技术,研究多种新兴有机污染物如磺胺类抗生素(SAs)、双酚类化合物和邻苯二
随着互联网技术的飞速发展和信息流量的持续增长,芯片层面的超高速、低延迟、大带宽的硅光子功能器件日益受到关注。但受限于硅的间接带隙半导体属性,其禁带宽度较窄,内部存在多种非辐射复合机制,导致了其发光效率极低,给片上光源的发展和应用带来了极大挑战。硫系材料具有超宽的透过光谱范围、较高的非线性、较低的吸收及丰富的材料组分等特点,能打破片上光源发展受限的局面,从而成为国际研究热点。以此为基础发展起来的片上
铜铟镓硒(Cu(In,Ga)Se2,简称CIGSe)薄膜太阳电池因具有成本低廉、绿色无毒、光吸收系数高、带隙可调、电池转换效率高等特点,受到广泛关注,目前采用真空法获得的最高转换效率为23.35%,是最有发展潜力的太阳电池之一。电沉积法制备CIGSe薄膜具有设备成本低、工艺简单、材料利用率高等优势,是目前研究高效低成本CIGSe薄膜太阳电池的主要方向。然而,电沉积法制备CIGSe薄膜太阳电池的最高
阿拉善地块北缘位于中亚造山带南缘关键位置,东西连接天山-北山造山带和兴蒙造山带,记录了晚古生代古亚洲洋从俯冲到消亡的关键构造演化信息。阿拉善地块北缘诺尔公-狼山构造带发育广泛的构造变形和大规模的岩浆-火山活动。本文在1:5万构造地质填图研究基础上,对诺尔公-狼山构造带的晚古生代侵入岩体、火山岩、侵入构造带变形和未变形的岩脉以及沉积岩石进行系统的岩石学和地质年代学研究,限定这些岩石的形成时代,并对构
伽罗瓦理论的建立带来了代数学在研究对象、内容和方法上的重大革新。为了解决伽罗瓦理论为什么能够建立、又为什么能够由关于代数方程的理论转变为关于抽象代数结构的一般理论这两个问题,本文在原始文献和研究文献的基础上,以理论的核心概念伽罗瓦群为线索,将研究聚焦于伽罗瓦和戴德金的工作,通过考察数学家的研究动机、关键思想的内在联系和遗留问题,系统研究了伽罗瓦理论从伽罗瓦到戴德金的历史发展,取得了如下主要成果:1
铜铟镓硒(CIGS)薄膜太阳电池具有成本低、转换效率高、弱光响应好、性能稳定、及可实现柔性化的优点,是当前国际上最具有前景的薄膜太阳电池之一。而重碱金属的后处理(KF-PDT、Rb F-PDT、CsF-PDT)是提升CIGS电池器件性能的关键因素。CIGS电池的最高效率23.35%就是采用重碱金属CsF-PDT实现的。虽然重碱金属的后处理(Alkali-PDT)在提升CIGS薄膜太阳电池效率方面起