弱监督视觉里程计网络模型设计与优化

来源 :浙江大学 | 被引量 : 0次 | 上传用户:linxinrudo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉里程计VO(Visual Odometry)利用连续帧视觉图像输入求解相机位姿,是计算机视觉在机器人定位导航领域中的一个重要应用。传统方法主要基于运动约束,采用几何方法求解这一问题,通常包括特征提取、特征匹配和运动估计等复杂过程。在弱纹理、光照剧烈变化等场景鲁棒性较差。近年来,随着深度学习技术在计算机视觉领域的广泛应用,将深度学习应用到VO研究也成为必然趋势。利用深度网络直接学习预测图片之间的几何关系,可以大大减化传统方法的复杂过程,并且对环境有更好的适应性。早期基于深度学习的VO主要是有监督的方法,训练需要大量具有直接位姿标签的数据,而高精度的图像位姿真值往往是不容易获得的,并且给大量图像制作标签也费时费力,因此研究者尝试采用无监督或弱监督的方法来研究VO。无监督VO的核心思想是将深度和位姿估计问题转化为视图重建问题,利用视图重建约束来训练深度和位姿估计网络。但单目无监督模型由于缺少真值的直接约束,精度较传统方法还有一定差距,并且预测的深度和位姿存在尺度缺失的问题。为了进一步提高单目无监督VO模型的精度和解决尺度缺失问题,本文从弱监督的角度,从相对易获得的间接监督信号出发,用不完整稀疏深度或者另一目立体图像提供监督训练,旨在减轻提供位姿真值训练负担的同时,提高现有无监督VO的精度。本文主要进行了三个方面研究:(1)在Sf MLearner模型的基础上,研究了无监督训练原理和视图重建原理,并且通过改进网络结构,优化损失函数等方法对该模型进行了进一步的优化,并将此作为本论文后续章节的基础模型。(2)针对基础模型预测的深度和位姿缺少尺度的问题,提出了利用有限的稀疏深度信息进行弱监督训练的模型,介绍了弱监督训练模型的框架和稀疏深度图的获取方法,并以实验验证了方法的效果。(3)提出了一种基于双目图像训练的弱监督尺度恢复优化模型。在基础模型的框架上,通过使用双目图像训练来恢复尺度信息。借鉴当前研究最新成果,在网络结构,约束条件,损失函数等方面提出了改进,提出了视差上采样重建、最小重建误差以及三种掩膜等优化措施。实验结果显示,基于双目图像的弱监督尺度恢复优化模型达到了同类研究中较优异的效果,证明了该双目训练模型和优化措施的有效性。
其他文献
金小蜂科Pteromalidae是一类体型较小的寄生蜂,可寄生昆虫纲大多数目,极少数寄生蜘蛛,同时可寄生卵、幼虫、蛹和成虫各个虫态。金小蜂可以用于防治农林害虫,在维持生态平衡方面作用明显。线粒体基因组遵从母系遗传,基因排列较为保守,进化速率快,同时线粒体基因组长度短,因此是研究系统发育的理想分子标记。金小蜂科种类多,内部系统发育关系复杂,但目前已测定的金小蜂科线粒体基因组仅2亚科7种。因此,测序与
室内场景下的三维重建技术是计算机视觉和计算机图形学研究中的重要研究内容。随着相机传感技术的发展,RGB-D相机在测量精度,分辨率等方面有了很大进步,如何利用RGB-D相机进行室内场景下的高精度三维重建也得到了研究人员越来越多的关注。然而目前大多数基于RGB-D相机的室内场景三维重建系统往往难以完整精确地重建较大规模的室内场景,并且很少利用室内场景下的场景结构信息做特定优化。基于上述问题,本文提出了
柑橘黑点病,也称砂皮病,是一种重要的柑橘真菌性病害,严重影响柑橘的品质,给果农造成重大经济损失。黑点病的致病菌为柑橘间座壳菌(Diaporthe citri),以田间枯枝病残体上产生的分生孢子为主要侵染源;果园生产过程中产生的大量枯枝既是可成为黑点病致病菌的繁殖基质材料,也是难以处置的重要、物污染废物。寻找既可以杀灭枯枝中滋生的黑点病病原真菌又可以加快枯枝降解的生防菌,在此基础上研发出制剂和田间处
球孢白僵菌(Beauveria bassiana)是广泛用于农林害虫生物防治的经典昆虫病原真菌。分生孢子在昆虫体表的附着是病原真菌通过表皮穿透感染昆虫寄主的关键步骤。附着成功的孢子在昆虫体壁上萌发,其芽管延伸为菌丝,通过分泌体壁降解酶和菌丝顶端附着胞渗透压力的共同作用而穿透体壁侵入血腔,并利用血液营养增殖,导致寄主最终僵死。在金龟子绿僵菌(Metarhizium anisopliae)中,分生孢子
像素级预测任务,包括语义分割、深度预测等任务,是计算机视觉领域的热门研究方向,被广泛应用在机器人导航、自动驾驶汽车及增强现实等实际应用中。目前,在基于卷积神经网络的方法中,用于逐像素预测的网络被编解码结构所统治。可以将编解码结构的网络分为两个部分,分别是编码器和解码器,其中编码器用于提取图像的语义信息并生成高维特征,解码器则利用编码器编码出的高维特征解码出所需的输出。由于编码器编码出的特征一般分辨
果园中化学农药的不合理使用,会造成水果品质下降、生态环境污染、传粉昆虫和自然天敌种群结构的破坏、害虫抗药性加剧等系列问题。基于此,生物防治日益成为国内外普遍认可的有推广意义的害虫防治方法。在生物防治中,人工释放的害虫天敌如赤眼蜂等在果树害虫生防领域已发挥重要作用,但人工释放的天敌昆虫在田间搜索能力弱,特别是在害虫低密度和复杂植被下难以找到寄主,如何提高天敌昆虫的定位、定向效率以更好地搜索寄主并防治
稻瘟病菌(Magnaporthe oryzae)是一种丝状植物致病真菌,能够在水稻生长发育各个阶段的各个部位发生侵染,从而造成水稻病害。稻瘟病菌具有典型的侵染循环,在自然界风和雨水的作用下,分生孢子落在植物表皮上,萌发出芽管,芽管尖端膨大分化形成附着胞。随着附着胞的成熟,它的细胞壁内侧将有黑色素沉积,从而使细胞内积累甘油等溶质、产生膨压,使得附着胞形成侵染钉以穿透植物表皮。侵染钉进入植物细胞后将分
随着社会经济不断发展,我国民生工程建设范围愈发广泛,水电站作为民生工程的关键项目,为工农业生产和居民生活用电提供了重要保障。为提高社会用电效率,在农村建立小型水电站(下文简称小水电)并引入配电网,从而丰富社会用电储备,成为备受关注的可行之策。鉴于农村小水电本身存在的局限,将其接入配电网后的电压控制以及电网运行安全程度都会受到影响。因此,分析农村小水电接入配电网后的电压控制与运行调整成为小型水
期刊
寄生蜂种类繁多、数目庞大,是重要的生物防治资源。其进化出多种编码免疫调节因子的毒液基因,以抵御寄主的免疫反应,这些因子靶向寄主细胞和体液免疫反应通路,且调控方式多样,包括阻断寄主免疫细胞信号传导、诱导免疫细胞死亡等。蝇蛹金小蜂Pachycrepoideus vindemiae属于蛹期外寄生蜂,能够寄生包括黑腹果蝇Drosophila melanogaster在内的多种蝇类。毒液作为该蜂唯一的寄生因
随着视频监控系统的大量应用,基于图像的行人重识别具有重要的价值。在各种复杂环境下,尤其是遮挡环境下,进行行人重识别是一项充满挑战的任务。遮挡行人重识别任务面临的主要挑战是外部物体遮挡、人体自遮挡和身体各部分视角变化。有效地解决这些因素带来的问题,对于遮挡行人重识别任务而言,具有重要意义。论文介绍了基于传统方法提取的行人特征,如LBP、SIFT、LOMO等,也介绍了常用的基于深度学习提取的行人特征,