基于深度学习的多视图三维重建

来源 :武汉大学 | 被引量 : 1次 | 上传用户:iror163
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维重建能恢复场景物体的空间结构,在自动驾驶、医学图像处理、虚拟现实等领域具有广泛的应用。多视图三维重建基于相机成像原理,从场景物体在不同视点下的二维图像中恢复出三维空间信息,具有成本低廉、适用性强的优点。传统的多视图三维重建方法基于手工设计的特征进行立体匹配,其在理想的朗伯体场景下能够取得较好的效果,但在纹理稀疏、非漫反射的条件下,由于局部特征提取困难,三维重建效果往往不佳。近年来,深度学习在计算机视觉领域得到了广泛的应用。深度学习方法基于大量训练数据、通过深层次的卷积神经网络(Convolutional Neural Networks,CNN)自动学习输入图像的高层、全局特征,与传统方法相比,深度学习提取到的特征语义性更强。受此启发,本文提出了一种基于深度学习的多视图三维重建方法,通过构建深度学习网络来进行立体匹配,提高了多视图三维重建结果的完整度和精度。本文首先对多视角图像进行预处理,通过运动恢复结构算法估计相机的内外参数,初步确定深度范围并选择用于进行立体匹配的视图。然后,本文构建深度学习网络进行多视角立体匹配,预测每张视图对应的深度图。本文首先通过2D CNN网络提取输入图像的特征,然后基于单应变换构造3D空间的匹配代价,使用3D CNN网络对匹配代价进行正则化,并通过Softmax分类得到初始的深度估计结果。接下来,本文基于深度估计的置信度对外点进行过滤,并使用深度残差网络对初始深度图进行微调,获得更准确的深度估计结果。最后,本文对深度图进行后处理,基于深度一致性对深度图进行过滤,并借助深度图融合技术构建稠密的三维点云模型。本文在TensorFlow框架和Python编程环境下,以大规模三维重建数据集DTU的79组数据作为训练样本,完成了对此多视图三维重建系统的构建工作。本文分别在DTU测试集和真实场景数据上对模型进行测试,并与开源三维重建软件VisualSFM、Bundler、OpenMVG、MVE、COLMAP进行对比分析。实验结果证明,本文所提出的方法能实现精确、完整地三维重建,且具有良好的鲁棒性。相较于传统方法,本文方法能更好地适应纹理稀疏、非漫反射等重建较为困难的场景。此外,本文还对立体匹配使用的视图数量的影响进行研究,发现增加匹配视图数目可以在一定的程度上改善三维重建的效果。本文还测试了所构建的多视图三维重建系统的运行速度,实验结果证明,本文方法处理速度较快,对单张视图进行深度预测所花费的平均时间约为4.8秒。
其他文献
幼儿园一日活动中,区域游戏是幼儿最喜欢的部分。在区域游戏中,幼儿是真正的主人,游戏的内容、材料的选择以及游戏的开展与结束都应该由幼儿自己来确定。心理学家维果茨基说“规则是游戏本质的特征”,因此,制定规则是幼儿开展区域游戏活动前的必要准备,其目的就是为了更好地促进幼儿的活动,保障幼儿在活动中的自由自主。一、当下幼儿园区域自主游戏规则的利弊  1.以小组为单位插牌选择区域小组游戏。  优点:这种游戏选
Web服务的大量涌现对服务的发现提出了挑战,UDDI基于关键词和简单分类的服务发现机制已经不能很好地满足需求。服务发现需要基于服务质量QoS来对服务进行选择和排序。本文在分
随着社会需求的多元化,市场被不断细分,由此,企业的经营理念和组织形态也在不断演化,企业的成本控制战略也逐步发生变革,向科学、精确、系统方向发展。生命周期成本管理理论
文章分析了项目管理过程与信息管理的关系,项目管理各阶段的信息管理工作。在项目开始阶段特别是投标时,竞争性较强,需要竞争情报的支持,这个阶段主是竞争情报的活动;而项目计划与
这几天,班里的男孩子开始模仿起“铠甲勇士”来,一群男孩子嘴巴里吆喝着“嚯……哈……嗨”不断变化着手势,很是“英雄”。不一会儿,告状的声音传来了,“老师,他打我的头!”“老师,他一直追我!”于是我就把这一帮人拉到一起,跟他们讲道理。我问:“铠甲勇士是英雄吗?英雄应该做什么?打小朋友好不好?”在他们反思后,这帮孩子都承认错误并向同伴道歉。于是我跟他们一个个的拉钩,并提出要求:“不要再犯错误,如果被老师
冒险性游戏不仅可以为幼儿提供体验和认识风险的机会,让幼儿在游戏过程中发展应对风险和解决问题的能力,而且可以培养幼儿勇于挑战、不怕困难等良好个性品质。由于成人对幼儿
本文利用国内外的医学权威数据库,将医学文献中带“-”和希腊字母的易漏检检索词,通过检索实例比较,探讨如何提高查全率和查准率,以让更多的科研人员掌握其检索技巧,从而更好地为
目的探究益生菌联合复方谷氨酰胺治疗腹泻型肠易激综合征患者的临床效果,为临床医师选择合理用药方案提供参考。方法选取2017年1月至2018年12月于凌源市中心医院诊治的80例腹
新常态下企业对于风险管理的重视程度进一步提升,内部审计可以基于企业运营中产生的实时数据,做出分析和判断,从而实现了对潜在风险的识别和防控,有效规避各类风险,维护企业
日前,韩国海洋科学和技术研究所展示了一款最新研制的水下行走机器人,颇似一只巨大的机器“螃蟹”。据悉,该机器人重量达到635kg,使用复杂力学原理可将其固定在海底进行探索,用于