基于深度学习的多视图三维重建算法及并行化研究

来源 :宁夏大学 | 被引量 : 0次 | 上传用户:hxt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,基于深度学习的方法在多视图三维重建深度估计方面表现出较强的竞争力,根据相机成像原理可知透视线上的任何一点都可以对应成像平面上的同一成像点,无法根据单幅图像上的像素点唯一确定它在三维空间中的对应点。多视图三维重建算法可以消除这种多对一的不确定性,并且多视图数据是对同一目标对象的不同描述,每个视图的关注点有所差异,不同视图之间可以提供互补信息,使用多视图可以提取到更加全面的目标特征表示,有助于提升三维重建的性能。现有的多视图三维重建算法中基于构建三维的cost volume方法可以很好地捕获物体的几何结构,并且减轻由于透视变换和遮挡所引起的图像失真的影响。然而,由于三维卷积神经网络涉及的感受野较大,重构的深度图边界可能会出现过度平滑的问题,且三维卷积神经网络训练过程中存在显存需求大和运算时间较长等缺点,一定程度上限制了高分辨率深度图的输出。受到人类视觉系统可以从复杂的视觉场景中选择性地关注所观测到信息中最重要的部分,并且忽略其他可见次要信息的注意力机制启发。为了充分有效的利用有限的计算资源处理大量的视觉信息,缓解深度神经网络计算量过大和多视图三维重建深度图估计中缺失图像的细节信息等问题,本文提出基于注意力引导的多视图网络用于深度图估计,该算法用MVSNet预测一个低分辨率的粗糙深度图,同时考虑到高质量的细节特征信息对多视图三维重建具有重要的影响且自然环境中的参考图像包含了重建过程中所需要的边缘细节信息,因此,本文使用U-Net框架提取参考图像不同尺度的细节特征信息用于指导深度图精细化的过程。最后,将得到的多深度图进行去噪融合得到图像对应的三维点云模型。本文的主要工作如下:1、将相机几何和深度学习相结合,采用卷积神经网络强大的特征学习能力提取不同视角拍摄图像的二维特征表示,利用获得的图像特征以及对应的相机参数,通过稠密匹配和三维卷积神经网络回归包含物体三维结构的粗糙深度图。由于自然环境中的参考图像包含了重建目标的边缘细节信息,本文将参考图像中提取到的目标纹理细节信息和包含三维几何信息的粗糙深度图相拼接,使用注意力网络引导粗糙深度图的精细化。2、使用基于视点的多深度图融合算法将不同视角的深度图集成到三维空间中生成三维点云模型。为了提高点云模型重建的准确性和完整性,本文通过概率图来衡量深度图预测的置信度,滤除预测的深度图中置信度低于阈值的噪音点,不同视角深度图之间通过深度一致性准则约束,融合深度图形成目标点云模型。3、由于网络使用数据量较大以及三维卷积神经网络的使用,导致网络训练时间较长。本文通过对深度学习模型并行算法的研究分析,对算法中比较耗时的部分使用基于GPU加速的CUDA技术优化多视图三维重建算法,提高神经网络的收敛速度,减少网络训练的时间开销。实验结果表明,本文算法的重建表面更加完整,尤其是在图像的低纹理、反射表面、重复纹理等区域中生成了更详细的点云,具有较好的重建效果。对算法中比较耗时且可并行执行的部分利用基于GPU的CUDA并行编程技术优化,进一步提高了三维重建算法的执行效率,可以更快地获取模型的训练结果。
其他文献
2018年8月的全国宣传思想工作会议上,习近平总书记指出:“扎实抓好县级融媒体中心建设,更好的引导群众,服务群众。”这明确了全国县级媒体的建设发展方向不仅要加强宣传思想的舆论功能,也要兼顾在此基础上的基层服务能力提升。作为舆论宣传的重要体现和主力方式,内容生产是县级融媒体建设工作的核心,内容生产的最终质量体现着县级媒体的融合效果。本文主要采取内容分析法、大数据分析法和文献梳理的研究方法,以“活力玉
学位
近年来,大气压等离子体的材料表面清洗及改性的研究受到了国内外学者及各大材料公司的广泛关注。目前应用最广泛的两类大气压等离子体发生器分别是一些依据介质阻挡的方法设
“连”字句是近几年对外汉语语法教学研究的热点,它属于《国际汉语教学通用课程大纲》中四级语法项目表的内容,是一种比较常见的强调句式。但是,在对外汉语教学中,教师和学生都对“连”字句这个语法点感到棘手,留学生的掌握情况也并不理想,偏误发生率也比较高。因此,为了改进“连”字句教学,笔者以留学生“连”字句习得偏误作为研究对象。基于“HSK动态作文语料库”2.0版和“全球汉语中介语语料库”,笔者得到有效“连
学位
目前各行业对于管材的加工,还有很多是通过锯切、冲压、铣削、钻孔、线割等传统加工手段,加工一个零件需要机型多到工序、多次定位、装夹,劳动强度大,效率也不高,适应性差,精
硅藻的模式生物三角褐指藻(Phaeodactylum tricornutum)被认为是生物柴油的理想来源,但大体而言微藻生物质能源的工业化发展受限于产量及提取成本等因素。随着现代分子生物学
古诗词作为贯穿学生整个学习生涯的教学材料,在语文教学中占据着很高的地位,它也一直都是教学重难点。因此,历史上无数的专家学者从未停止过对古诗词教学的研究与探索,在整个探索过程中,我们不断吸取前人的经验教训,目前的古诗词教学日臻成熟,但仍需不断完善。拓展教学对语文教学有着重要的价值,在最新版的《义务教育语文课程标准》的要求中也蕴涵着拓展教学的内容,将拓展教学这一理论应用于古诗词教学中能够进一步优化古诗
学位
随着时代的发展,社会对人才的需求不再只是分数化,更多的是对学生核心素养的要求。物理学科核心素养是“三维目标”的深化和发展,更加强调了物理教育应遵循教育教学规律和学生身心发展规律,贴近学生的思想、学习、生活实际,充分反映学生的成长需要,促进每个学生主动地、生动活泼地发展。电学知识放在人教版初中教材的尾部,充分彰显出电学在基础物理中的难度和重要地位。本文以初中电学知识为研究对象,将物理教学与生活化相结
学位
“拓展空间”栏目作为《道德与法治》教材中的新栏目,位于每框末尾,在落实教学目标方面具有兼顾融合的特殊作用。然而,在现实的教学过程中,“拓展空间”栏目的运用效果并不尽如人意。基于调查问卷、教师访谈和教育实习实践,对“拓展空间”栏目在某市某校八年级教学中的运用做了具体分析。一方面,“拓展空间”栏目在教学的运用中取得了较好的教学效果、学生的学习兴趣得到了增强、教师也积累了一定的“拓展空间”栏目的运用经验
学位
随着中国科学技术水平的不断提高和迅速发展,其在农业领域的研究和应用已经逐渐普及。但是,农作物病虫害的分类和识别是防治的重要组成部分,但由于害虫的隐蔽性、变态性、种群规模庞大的特点,传统的图像分类与识别方法面临着巨大的挑战。由于我国农作物病虫害防治体系不够完善,害虫的分类和识别方法也不全面,每年,由于农作物病虫害的持续增加,我国农作物产物持续减少,农业领域的发展受到了限制,经济效益也受到损害。利用改
教育是国家之大计,义务教育是国家基础教育的重中之重,发展义务教育水平就是提高整个教育的水平。学者杨宝进说,推进义务教育均衡发展要抓住农村教育这个薄弱环节,发展农村地区义务教育的关键在于建设一支高质量、高水平、高素质的“三高”教师队伍。目前,民族地区农村小学教师的素质与学历方面已经有所提高,但是仍存在教学水平高的优秀教师较少、教师队伍不够稳定及流动性强等不利于义务教育均衡发展问题。造成农村教育问题的
学位