基于深度学习的多视角影像深度估计与三维重建

来源 :武汉大学 | 被引量 : 0次 | 上传用户:zhaoshuang1989
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维模型是人类感知和认识世界的重要形式,随着计算机技术的快速发展,三维重建技术在人们生活生产的各个方面,如文物保护、虚拟现实等领域中正起到越来越大的作用。而在众多的三维重建方法中,基于多视角影像深度图的三维重建方法因其设备成本较低,操作灵活性较高,重建精度较好的特点,是目前最为主流的三维重建方案之一。此外,近年来,随着深度学习技术在计算机视觉领域的快速发展,将深度学习技术赋能于三维重建也成为了当下热门的研究问题。本文主要聚焦于基于多视角影像深度图的三维重建方法,研究通过深度学习技术实现准确且鲁棒的多视角影像深度估计,并构建目标的三维点云模型,完成三维重建。本文在Point-MVSNet工作的基础上,提出了改进的分组K邻近搜索方法,在扩大了匹配代价正则化过程中的空间感受野的同时,有效提升了正则化过程的效率。同时,本文还提出了一种基于置信度加权的匹配代价正则化方式,进一步提升了深度图与三维重建的质量。此外,针对高分辨率的影像,本文使用了多尺度优化策略,渐进地估计影像的深度。针对深度优化过程中的深度搜索范围选择问题,本文采用了一种自适应的深度搜索范围估计策略,有效提升了算法的灵活性与精度。具体地讲,本文的算法以一张参考影像与若干张邻接影像为输入,首先通过一个权重共享的特征金字塔网络分别为每张输入影像提取鲁棒的多尺度特征。然后,本文通过深度初始化网络,在低分辨率下为参考影像估计初始深度图。接着,本文基于初始深度图以及影像的相机参数,进行多视角特征映射与增广,并构建匹配代价。在这之后,本文利用卷积神经网络,采用基于分组K邻近搜索与置信度加权方法进行匹配代价正则化。最后,本文通过回归操作,实现对参考影像深度图的优化。在对所有影像重复上述流程,得到每张影像的深度图之后,本文接着通过深度图滤波与融合技术,最终得到场景目标的三维点云模型,完成三维重建。本文基于深度学习框架Pytorch进行实现,在大规模的小场景三维重建数据集DTU,以及大场景三维重建数据集Tank&Temple上进行了实验分析。针对算法的精度与效率,本文在深度图估计质量、三维重建质量、算法的GPU显存开销以及算法的运行时间这几个方面进行了定量的分析,并与目前主流的基于多视角影像的三维重建算法进行了对比。结果表明,本文的算法能够实现准确的深度估计并生成高质量的三维点云模型。相比早先的基于深度学习的算法,本文算法的GPU显存开销更小并且运行速度更快,因此具有更高的效率。此外,实验还表明本文的算法不仅能够对小场景目标进行三维重建,也能够对大场景下的目标进行三维重建,体现了本文算法良好的鲁棒性与泛化性。
其他文献
在石油的开发阶段,我们所面临的勘探开发对象越来越复杂,以复杂构造、薄互储层和隐蔽性储集体的发现与认识为主,而目前常规的地震资料成像精度已无法满足精细勘探开发需求,需
21世纪互联网行业的迅猛发展,在线教育也衍生出很多探索的模式,如视频教育、网络图书教育、网络课堂教育、线上线下混合教育等。针对编程思维训练的在线平台发展缓慢,本论文研究设计了一个在线STEAM创新教育交互平台,让学生可以通过图形化编程训练逻辑思维,同时学习编程语言,真正地做到寓教于乐、教学相长。本文首先分析了STEAM创新在线教育平台的总体功能需求,研究了实现本平台的关键性技术,如Vue.js、S
宗族义学又称族学,是宗族设立的,以学田为经费来源的教育机构。清代浙江宗族义学兴起于康熙时期,此后到嘉庆年间一直稳定发展,道光年间进入兴盛期,但在太平天国战争期间,宗族义学遭到了破坏,直到同治、光绪年间才逐渐恢复。光绪年间学制变革,废除科举,不少宗族义学应时而变,演变为新式蒙小学堂。就创办目的而言,大多数浙江宗族创办义学,是为了通过教育巩固和发展本宗族实力,提高宗族的地位。其招收对象以本族子弟为主,
LTE-R(LTE for railways)是面向铁路应用的下一代专用无线通信系统,亟需评估电气化铁路电磁骚扰对LTE-R的影响。同时,幅度概率分布(Amplitude Probability Distribution,APD)测量法可以获得比传统的准峰值以及其他检波方法更多的关于电磁骚扰特性的信息,且研究表明骚扰信号的APD与通信系统的误码率相关,因此可以利用骚扰信号的APD评估其对LTE-R
真核细胞通过选择性自噬,特异性地清除受损的细胞器、错误折叠的蛋白聚集体或入侵的病原体等自噬底物,从而维持细胞内环境的稳态。与非选择性自噬不同,选择性自噬通过底物受
摄食行为的调控是一个极其复杂的过程,人类的摄食行为受到中枢神经系统中环路的复杂调节,摄食过程产生的激素可以引发神经系统的一系列反应。摄食行为不仅受到机体稳态的调控
研究目的:本研究主要通过对单侧髋关节屈伸运动前施加调息干预,并对受试者进行静态平衡功能及步态测试,研究平静呼吸与调息干预后单侧髋关节屈伸运动至肌肉疲劳情况下静态平
利用清洁的可再生能源成为未来能源发展的必然趋势。除太阳能、风能、水能、潮汐能等能源之外,湿度差势能也是一种极具潜力的新型能源。该能源在地理环境中有着广泛空间上和
本文运用WRF3.9区域数值模式模拟了2017年7月13日吉林省永吉县暖区暴雨,较好地再现了此次暴雨过程的中尺度对流系统的单体触发、线状群体触发、组织化发展以及弓状回波等典型
水体(本文指湖泊、池塘和水库)为人类社会提供了基本的生态系统服务。水体的分布及面积变化在很大程度上受到气候变化和人类活动的影响。过去三十余年,随着中国的土地利用方