基于深度学习的多视图三维创建算法及并行化研究

来源 :宁夏大学 | 被引量 : 0次 | 上传用户:zhangbo330330
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,基于深度学习的方法在多视图三维重建深度估计方面表现出较强的竞争力,根据相机成像原理可知透视线上的任何一点都可以对应成像平面上的同一成像点,无法根据单幅图像上的像素点唯一确定它在三维空间中的对应点。多视图三维重建算法可以消除这种多对一的不确定性,并且多视图数据是对同一目标对象的不同描述,每个视图的关注点有所差异,不同视图之间可以提供互补信息,使用多视图可以提取到更加全面的目标特征表示,有助于提升三维重建的性能。现有的多视图三维重建算法中基于构建三维的cost volume方法可以很好地捕获物体的几何结构,并且减轻由于透视变换和遮挡所引起的图像失真的影响。然而,由于三维卷积神经网络涉及的感受野较大,重构的深度图边界可能会出现过度平滑的问题,且三维卷积神经网络训练过程中存在显存需求大和运算时间较长等缺点,一定程度上限制了高分辨率深度图的输出。受到人类视觉系统可以从复杂的视觉场景中选择性地关注所观测到信息中最重要的部分,并且忽略其他可见次要信息的注意力机制启发。为了充分有效的利用有限的计算资源处理大量的视觉信息,缓解深度神经网络计算量过大和多视图三维重建深度图估计中缺失图像的细节信息等问题,本文提出基于注意力引导的多视图网络用于深度图估计,该算法用MVSNet预测一个低分辨率的粗糙深度图,同时考虑到高质量的细节特征信息对多视图三维重建具有重要的影响且自然环境中的参考图像包含了重建过程中所需要的边缘细节信息,因此,本文使用U-Net框架提取参考图像不同尺度的细节特征信息用于指导深度图精细化的过程。最后,将得到的多深度图进行去噪融合得到图像对应的三维点云模型。本文的主要工作如下:
  1、将相机几何和深度学习相结合,采用卷积神经网络强大的特征学习能力提取不同视角拍摄图像的二维特征表示,利用获得的图像特征以及对应的相机参数,通过稠密匹配和三维卷积神经网络回归包含物体三维结构的粗糙深度图。由于自然环境中的参考图像包含了重建目标的边缘细节信息,本文将参考图像中提取到的目标纹理细节信息和包含三维几何信息的粗糙深度图相拼接,使用注意力网络引导粗糙深度图的精细化。
  2、使用基于视点的多深度图融合算法将不同视角的深度图集成到三维空间中生成三维点云模型。为了提高点云模型重建的准确性和完整性,本文通过概率图来衡量深度图预测的置信度,滤除预测的深度图中置信度低于阈值的噪音点,不同视角深度图之间通过深度一致性准则约束,融合深度图形成目标点云模型。
  3、由于网络使用数据量较大以及三维卷积神经网络的使用,导致网络训练时间较长。本文通过对深度学习模型并行算法的研究分析,对算法中比较耗时的部分使用基于GPU加速的CUDA技术优化多视图三维重建算法,提高神经网络的收敛速度,减少网络训练的时间开销。
  实验结果表明,本文算法的重建表面更加完整,尤其是在图像的低纹理、反射表面、重复纹理等区域中生成了更详细的点云,具有较好的重建效果。对算法中比较耗时且可并行执行的部分利用基于GPU的CUDA并行编程技术优化,进一步提高了三维重建算法的执行效率,可以更快地获取模型的训练结果。
其他文献
摘 要:当今社会大学生就业竞争压力的增加,出现了就业难择业难的情况。因此高校必须改变教育观念,利用就业指导模式,以培养大学生创新创业能力为导向,对大学生创新创业能力进行培养。文章主要阐述了培养大学生创新创业能力的意义,对培养大学生创新能力中存在的主要问题进行分析,并提出相应解决方法,以期能为高校培养大学生创新创业能力提供借鉴。  关键词:培养 大学生 创业能力 就业指导模式  创新作为一个民族的灵
期刊
摘 要:多年来,高职院校教学模式的改革一直是教育工作者们探讨的话题,这是由于教学模式的选择在教学效果上会有非常直观的体现。目前我国高职院校的教学效果难以令人满意,因而在教学模式上,需要改进的地方仍然很多。本文从高职院校教学模式现状出发,对高职院校教学模式改革进行探讨。  关键词:高职院校 教学模式 改革  教学模式是指在教学目标的指导下,形成的系统的教学体系。不同的教学模式带来不同的教学效果,现存
期刊
摘 要:随着高校的发展,体育教学的改革是其关键工作。本文从国内高校体育教学现状出发,进一步分析与探讨高校体育教学存在的问题,并为体育教学发展提出科学的对策。  关键词:高校 体育教学 发展  一、引言  随着经济发展,我国综合国力与国际化程度开始提升,科学信息技术也快速发展,企业之间的竞争异常激烈。在新的形势下,当今激烈的竞争归根到底是人才之间的较量。高校是培养人才的基地,承担着为企业与社会输送优
期刊
摘 要:对输油管道运行压力和温度、腐蚀检测数据等进行统计分析,能够有效保证输油管道的运输安全和效率,从而能够为石油企业带来更多的经济系效益和社会效益。因此,本文采用不同的分析方法对输油管道运行参数和检测数据进行了统计分析,以期能够为石油企业提供帮助。  关键词:输油管道 运行参数 检测数据 统计分析  一、统计分析  输油管道运行参数和检测数据具有一定的随机性,想要对这些数据进行正确分析,切实将客
期刊
摘 要:目前,中职航空服务专业人才存在培养定位不清晰等问题,岗位资格证书作为行业入门的“敲门砖”,对人才培养、学生就业具有积极作用。  关键词:中等职业教育 航空服务人才 岗位资格证书培训  一、中职航空服务专业人才培养中存在的问题  随着我国民航业的高速发展及对民航技能型人才的大量需求,许多中职学校纷纷开办航空相关专业,加入到民航人才的培养大军中。其中以中专学校和技工学校开办航空服务专业为主,但
期刊
摘 要:根据建设类企业岗位能力设置中对财务能力的需求状况考察,分析在建设类企业中,财务会计知识的适用面以及各岗位对财务会计技能的侧重点。分析得出,建设类企业中等数十个岗位、各个层次均对财务会计知识有不同程序的需求,且要求的知识点各有侧重。  关键词:高职教育 建设行业 岗位技能  一、引言  高职院校较之本科教育的学术型、系统性教育方法而言,更突出专业教育的实践性、就业需求性,教学目标是培养出具有
期刊
摘 要:提问是英语课堂教学中教师常用的方法之一。本文采用了课堂观察的手段,调查与分析了在大学英语课堂上不同类型的问题与交流有效性之间的关联以及哪种提问方式最能有效促进学生与教师、学生与学生间的交流互动。  关键词:课堂提问 展示性问题 参考性问题  一、引言  随着对语言本质以及语言学习的不断认知,自上世纪五十年代以来英语语言教学方法不断创新。国内英语教学法历经最初的语法翻译法、情景教学法、听说法
期刊
摘 要:本课题组在案例教学基础上提出了案例互动教学模式,该模式是以理论教学为基础,以案例分析为引导,以师师、师生以及生生之间的互动为补充的立体教学模式。与其他教学模式相比,该模式更关注理论教学与经济热点的联系、重视各层次的互动关系、强调理论、案例与互动的有机结合;同时针对使用案例互动模式过程容易出现教学时长难以控制、互动不利,热点问题与理论教学不协调等问题,提出了预先布置案例任务、以学生为中心发挥
期刊
摘 要:院校是培养人才的地方,加強教员队伍建设,是办好院校,培养人才的关键。充分利用激励理论,最大限度地满足教员高层次需要,使教员充分地发挥其技术和才能,变消极为积极,从而保持工作的有效性和高效率,这样就能激发院校内部活力,提高院校的教育质量和科研水平。  关键词:激励机制 院校 教学质量  院校是培养人才的地方,加强教员队伍建设,是办好院校,培养人才的关键。充分利用激励理论,最大限度地满足教员高
期刊
摘 要:完善的摔跤专项技术能大大提高大赛取胜系数,从青少年摔跤训练的实际分析了其特点及主要训练方法手段,强调摔跤技术动作的三要素是成功完成动作技术的关键所在。  关键词:青少年自由式摔跤 专项技术训练 技术动作三要素  合理的运动技术是指符合运动生物学原理和比赛规则,最大限度发挥人体潜在能力和完成动作的方法。各运动项目竞赛主要是通过运动技术表现出竞技水平,以此决定胜负并取得成绩。摔跤是以技能为主的
期刊