基于深度学习的多视图三维重建算法研究

来源 :安徽建筑大学 | 被引量 : 0次 | 上传用户:as55059550
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多视图三维重建是一种从摄像机拍摄的一组多视点图像中重建出三维模型的方法,是几十年来计算机视觉领域广泛研究的核心问题。传统的多视图三维重建算法使用人工设计的特征来进行图像目标的特征提取,并以此进行三维重建,但是在纹理较为稀疏、非漫反射的场景下,特征提取困难,三维重建效果较差。而近年来随着深度学习的发展,越来越多的研究人员开始使用深层神经网络来自动提取图像特征,并且提取到的特征语义性更强,能够适应大部分的场景。受此启发,本文提出一种基于深度学习的多视图三维重建算法T-MVSNet,优化了网络各个结构,提高了多视图三维重建结果的完整度和精度。本文主要的工作如下:(1)针对现有算法的三维重建效果存在大量空洞的情况,本文重新设计了特征提取网络。本文在残差网络和编码器-解码器结构的基础上融入了动态滤波器卷积,该方法随着训练的进程给并行的卷积核分配不同的权重,并集成这些卷积核作为一个动态核,该方法可以提升模型的表达能力,并且无需提升网络的深度和宽度。(2)从图像特征图计算得到的代价体往往包含大量的噪声,而三维卷积无法解决,因此本文重新设计了代价体正则化网络。利用Transformer对于全局感知的特点,将其与卷积进行融合优化,随后将修改后的Transformer作为编码器,三维卷积作为解码器,形成一种新型的代价体正则化U型网络。(3)重新设计了loss函数。将网络的原始输出的深度图和微调过后的深度图分别分配一个初始系数,根据后续网络训练的相关指标动态分配系数大小,根据两种深度图的重要性程度指导训练。(4)本文基于相机模型的变换公式,结合相机内外参和深度图,提出了一种基于深度图融合的三维重建算法。实现了端到端的三维重建,使整个算法有更好的嵌合度。本文使用Pytorch框架和linux编程环境,采用大规模室内物品DTU数据集的79组样本来训练。并且在DTU测试集上进行测试,做消融实验,并与相关开源的三维重建算法的结果进行对比分析,最后利用本文构建的三维模型可视化系统进行展示。经实验证明,本文所优化过后的方法能够应对大部分的实验场景,并且能生成高质量的三维点云模型,而且在稀疏纹理和具有镜面反射的场景下有较好的效果。
其他文献
古代诗歌是我国优秀传统文化的灵魂所在。在高中阶段的语文学科教育中组织与开展古代诗歌的教学,不但有助于促进学生语文核心素养的发展,而且对优秀传统文化的传承与发扬同样具有极为深远的意义。但由于古代诗歌中古代汉语的语言表现形式与学生所熟知的现代汉语之间存在较大的区别,这就使得大多数的高中阶段的学生在古代诗歌学习中往往难以深刻地体会与感知其内涵,不仅严重影响了高中语文古代诗歌的教学质量,在很大程度上还限制
在这个互联网和信息计算机(移动手机)技术飞速发展的新兴时代,越来越受到大众欢迎的计算机(移动手机)网络游戏也正是如雨后春笋般迅速地占领了整个市场,越来越多的小学生也已经开始积极地沉迷于互联网络游戏。凡是有着双重的两面性,而且网络游戏中也是无一例外的。有人认为它本身就是一种娱乐和休闲的"好朋友",也有人认为它本身就是通过玩游戏而使他们丧失了理智的"催化剂",本文辩证地分析了网络游戏的优点和利弊,可以
计算机视觉领域有一个长期存在的经典任务是三维重建,三维重建是恢复环境中物体的三维信息,被广泛应用于三维物体分类、机器人自主避障、增强现实、虚拟现实等应用上。近年来,随着计算机计算能力的不断提高,深度学习在二维图像任务上取得举世瞩目的成果,许多研究人员将目光投向了基于深度学习的物体三维重建。与传统算法的三维重建相比,深度学习利用大量的数据集学习二维图像到三维模型之间的映射关系,不需要复杂的相机标定过
当前,我国民众生活水平日益改善,我国消费者对出口食品尤其是高质量农产品的要求也越来越多元和个性化。随着更多的中国人注重食品安全,优质农产品也自然成为了人们所关心的焦点。出于以上这些因素,中国农业市场,特别是中国生态农业市场,被看作是目前发展潜力很大的市场。而随着国家计划加快发展农产品电子商务,我国的农产品市场也将迎来新一轮的重大发展机遇。
习近平总书记关于学校体育“享受乐趣、增强体质、健全人格、锤炼意志”的“四位一体”目标体系的重要论述是我国体育立足当下、不断进取的强大支持,是中国化的教育思想和体育思想高度融合的智慧结晶,是实现“健康中国”战略的指导思想,为建设体育强国、办好人民满意的学校体育和改革发展体育课程提供了关键支撑和行动准则。该目标体系的重要论述以战略性的价值定位为立足点,以落实立德树人的根本任务为聚焦点,从国家发展的全局
冠状动脉微血管疾病(coronary microvascular disease,CMVD)是非阻塞性冠状动脉病变患者心肌缺血的主要原因,由于起病隐匿、病因复杂,目前对其病理生理机制尚缺乏全面认识,极大地限制了其临床诊断与治疗。冠状动脉微血管内皮细胞损伤是诱发CMVD的核心,多种炎症因子可通过内皮细胞损伤途径参与CMVD病情进展。本文主要针对炎症反应在CMVD发生中的可能作用机制作一综述,以期为C
改革开放将我国带入了新的历史时期,社会经济不断发展,人民生活水平不断提高。但是在经济飞速增长的过程中,环境污染问题越来越不容忽视,通过破坏环境换取经济利益的行为在我国屡禁不止。环境行政执法和刑事司法的衔接问题研究由于起步的时间较晚、发展的时间短等因素依然处在不成熟的发展阶段。在相当长的一段时间内,许多应当认定为环境犯罪的犯罪行为因为受到诸多因素的影响,并没有被追究刑事责任。违法成本低造成违法者为了
本文基于SWOT模型对滨江海港枢纽经济区港口物流发展的内部环境,即自身优势(strengths)、劣势(Weaknesses)以及面临的外部环境,即机会(Opportunities)和挑战(Threats)进行系统性分析。基于分析提出抢抓机遇、依托商贸流通全面发展现代物流业,充分利用软环境优势、加快港口基础设施建设,依托平台、创新优化港口物流运营体系,借鉴经验、不断探索绿色港口物流新途径和重视港口
在新课标理念当中,要求教师能够以立德树人的教学理念为指导,将创新性的教学方式融入小学美术课堂中,不断地增强学生们的审美意识。因此,本篇文章将会从多媒体技术、创新课堂教学模式以及课外实践活动三方面展开论述,提供一定的参考建议。
<正>标准化是预制菜进入国际市场的敲门砖。目前预制菜行业标准缺失,企业进军国际市场,没有对应的国际标准支撑,很难走远。产业发展离不开标准的制定,标准是一个行业循环畅通的基础,预制菜产业同样如此。
期刊