基于深度学习的图像目标三维重建

来源 :江南大学 | 被引量 : 0次 | 上传用户:sfyuya007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维重建的目的是从二维图像中恢复目标的三维空间结构,该技术常常被应用在自动驾驶、虚拟现实、环境感知等领域。随着深度学习的发展,通过对训练数据的有效学习,深度神经网络能够拟合二维图像与三维结构之间的映射关系,从而实现了从图像中重建目标三维模型的目的。基于深度学习的图像目标三维重建一般涉及相机参数估计、图像深度预测和目标点云求解等过程,本文的主要研究内容包括:1)构建了一组多视点变焦距的虚拟合成数据集。由于现阶段缺少以图像目标为中心且包含多样化焦距标签的数据集,本文基于ModelNet40以及Pix3D三维数据集建立了一组虚拟合成数据集,并为每张合成数据配置了准确的相机参数标签。该数据集可用于相机参数的估计和目标重建。2)提出了一个基于二次编码的相机参数估计网络。在传统编码-解码网络的基础上,将解码输出整合入一个新的编码器网络,通过融合两次编码学习结果来同步恢复相机的内外参数。该算法使用本文自建的虚拟合成数据集进行训练,实验证明,本算法在合成数据与真实数据上均取得了高质量成果。3)建立了一个基于轮廓分割的相机参数估计网络。针对输入的真实图像,提出了一种基于单张图像的三阶段相机参数估计算法,首先利用Mask R-CNN实现掩码图像粗提取,然后使用传统边缘提取算法Grabcut细化掩码边缘,再将分割结果输入到一组相机参数估计网络,实现单张输入图像的相机参数估计。算法使用Pix3D中的真实图像以及本文自建的虚拟合成数据集进行训练。实验证明,对于真实场景下的单张输入图像,本算法能够高精度恢复相机的参数信息。4)实现了一种基于相机参数的图像目标三维重建方法。在得到相机参数之后,通过相机参数能够确定当前深度图像获取时相机的拍摄位置与拍摄角度,结合图像的深度信息,可以把图像目标逆投影到三维空间中,从而得到图像目标三维点云模型。本文利用相机参数,实现了基于单张图像深度和多视点图像深度的图像目标重建,实验结果表明,该方法在图像目标高度遮挡的情况下仍然可以很好地重建图像三维目标。5)设计了一种基于深度学习的目标三维重建应用方法。以人体重建为例,研究结合相机参数估计实现基于图像的人体重建。在重构人体三维模型的过程中,对输入图像的相机参数进行预测,利用预测的相机参数对参数化的人体三维模型进行二维投影,然后通过二维投影的结果对三维输出进行损失求解,在降低计算复杂度的同时提升了三维模型的精度。同时利用本文提出的方法实现重建人体模型的肩宽、臂长、胸围、腰围等成衣定制数据的求解,实验结果表明,该系统采集的数据基本满足量体裁衣的基本要求。本文从相机成像模型出发,提出了两种基于深度学习的相机参数预测方法,通过结合多视点图像的深度信息实现了图像目标的三维重建。同时,本文将基于深度学习的图像目标三维重建方法应用于人体成衣定制数据的采集,测量的人体数据基本满足成衣定制需求。
其他文献
正例未标注分类简称PU分类,由于只有正例样本与未标注样本,传统的分类方法在PU分类中往往效果不甚理想。为PU问题构建稳健的分类是非常具有挑战性的,特别是对于负例样本压倒并且含有异常值(错误标记样本)的复杂数据。这种分类情况实际应用中十分常见,例如医疗保健,文本分类和生物信息学。尤其当数据高速发展的今天,如何快速准确的分类并实现在线学习成为当下研究中的热门,本文针对包含异常值的增量型PU分类研究如下
精确计算猪胴体中各个组织的重量和占比对于种猪育种是非常重要的,这有利于优化生产结构,培育出满足市场需求的优良性状种猪。医学影像学的发展为我们提供了许多无创的、高分辨率的仪器,其中最适合测量活体猪胴体组成的设备就是CT。CT是一种非侵入性的技术,目前已经被广泛应用于动物生产和畜体分级领域,它可以随时在猪体的生长过程中研究猪的身体构成而不必对其进行连续屠宰。CT图像使用Hounsfield units
《远山淡影》是英国日裔作家石黑一雄的处女作,作品在1982年一经出版便在西方文坛引起巨大反响。该书讲述了身处英国的日裔遗孀悦子,在大女儿景子自杀后回顾日本生活点滴的故事。主人公悦子有意虚构了佐知子和万里子这一对处在社会边缘地位的母女,来揭示日本女性在以男权为主导的日本社会所遭遇的重重压迫,以及悦子母女在母国和异乡所经历的身份困顿和压迫。《远山淡影》的一大特点是性别化叙事的运用。本文从女性主义叙事学
线性回归是机器学习中比较热门的研究方法,广泛应用于分类、识别等多个领域。由于具有形式简单、易于建模、良好的可解释性等优点,线性回归是目前应用最广泛的方法。本文提出了三种新的线性回归方法,具体工作如下:首先,论文提出基于样本特征核矩阵的稀疏双线性回归(KMSBR)。该模型利用特征映射将样本特征映射到高维空间,并构建基于样本的特征核矩阵。以样本的特征核矩阵作为输入定义双线性损失函数,同时以L2,1范数
2022年,第24届冬奥会即将在北京举办,在此背景下,冰雪运动成为新的体育消费热点。在所有冰雪运动中,花样滑冰独具艺术性,受到人民群众的广泛喜爱。目前国内女子花样滑冰表演服的部分生产企业缺乏系统的设计方法与创新意识,与国外品牌差距较大,因此针对女子花样滑冰表演服设计的理论研究日趋重要。本文梳理女子花样滑冰运动的历史,介绍女子花样滑冰表演服的概念及分类。通过分析图片、影像资料,对女子花样滑冰服从诞生
现实生活中往往存在许多不确定性的事情,但是人们对于未来会发生的事情及各种情形需要有一定的准备,即“未雨绸缪”。人们需要对未来的事态发展进行预判,即对将会发生的事情或者结果进行预测,以便更好的进行经济生产等活动。但是由于生活中实际数据的难以获取以及信息的不对称等因素,会导致有效信息量少,给实际预测带来一定的困难。要想对实际情况做到准确的预测,必须通过合理的方法解决这一问题。灰色系统理论自提出以来,便
鲁锦作为鲁西南地区传统手工纺织品的代表,在漫漫的历史发展进程中融入深厚的文化积淀从而形成了其特有的艺术风格。作为黄河文化的组成部分之一,因其独特的纹样艺术形式,高超的织造技艺,美用兼备的功能性,已于2008年被中国第二批非物质文化遗产收录。鲁锦纹样有近两千种之多,且不同的纹样有不同的名字。其纹样的艺术特征、深厚的文化内涵及鲜明的地域性特色都值得我们进行深入的研究、探讨。本课题的研究内容主要有以下几
为了方便技术人员利用校准组件对DNQ1型前向散射能见度仪进行现场校准,设计了具有校准功能的软件系统,也可用于设备故障检测。利用系统对海南省多个台站的能见度仪进行现场校准,满足了能见度仪校准的功能需求,缩短了现场校准工作时间,校准结果表明校准后信号强度值误差均在±5%范围内。在现场校准中发现能见度仪长期保持干净状态,则信号强度误差保持在±10%内;如果仪器安装在靠近马路等尘埃比较多的位置,则信号强度
基于生物原理的神经网络在深度学习领域应用越来越广泛。深度神经网络赋予了各种智能设备新的发展空间。但深度模型往往拥有庞大的参数量并需要昂贵的计算力,这些模型难以在有限的计算、存储资源以及续航能力的智能终端设备上运行,这使得神经网络在终端部署成为新的难题。针对上述问题,本文深入研究生物进化选择原理,提出一种全新网络算法,并基于已有模型压缩方法,研究出一种新型优化学习算法。本文的工作可以分为以下三个方面
虎镇五毒纹样作为中国传统服饰纹样的重要组成部分,是自古以来传统童装上运用最为广泛的纹样之一。在我国传统服饰纹样中吉祥纹样一直占据最为重要的地位,而虎镇五毒纹样作为主要运用于童装的吉祥纹样在中国重嗣传统观念的影响下经过千百年的演变逐渐形成为一种极富文化价值和艺术价值的纹样体系。随着人们对传统文化的传承和保护意识逐渐加强,现代服装设计也越来越注重传统服饰纹样的提炼和使用,虎镇五毒纹样也处于不断发展创新