面向3D形状重建的深度几何先验研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:sky007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于图像的三维形状重建技术一直是计算机视觉领域的热门分支领域之一。然而,在现阶段的使用深度学习方法的基于图像的三维形状重建算法的学术研究中,往往对几何上的先验信息的挖掘有所不足和欠缺。因此,本文以单视角下和多视角下的三维重建为研究课题,重点研究了利用不同的深度先验信息,来实现高质量、高效率的三维重建算法。研究内容包含了三个部分,即三维-二维透视投影先验研究、三维形状的时空平滑先验研究以及真实场景中的物体三维形状重建系统。在三维-二维透视投影先验研究中,本文提出了基于单视角的三维重建方法3D-LGD,它借鉴了深度学习优化领域关于学习的梯度下降的研究的最新进展,考虑到了三维形状在二维图像坐标系中的投影与输入的二维图像隐性约束关系,使用生成参数更新的深度网络替换了简单的梯度下降更新规则,在学习过程中将梯度分量传递给学习网络,再通过一系列的用于更新参数的卷积神经网络,来生成对预测的三维形状的更新。在ShapeNet的数据集上与现有方法的对比实验中,其生成三维形状的准确性综合指标提升了 8.8%。在三维形状的时空平滑先验研究中,本文提出了基于多视角的三维重建方法3D-STS,它具有时序平滑性的解码模块以及一个特殊设计的考虑了空间平滑性的目标函数,以同一三维物体的不同视角下的RGB图像为输入,可以生成该物体的三维形状以及每一视角下的姿态信息。在解码模块中,它使用了循环神经网络,从而学习输入图像时序上的先验平滑信息;在目标函数中,它使用了随机梯度Langevin动力学(SGLD)的更新法则,考虑了三维形状在空间上的先验平滑信息。在基于ShapeNet的数据集上,与第三章提出的基于单视角的3D-LGD相比,它生成三维形状的综合精度提升了 24.1%。针对真实场景,本文设计了一种基于深度学习的三维重建系统。通过比较不同方法的准确性与运行效率,分别挑选了合适的分割算法和重建算法作为系统的实际应用中的方法。最后,通过在真实场景下进行跨实例、跨类别物体的重建实验,证明了该系统设计的可行性,并定性地分析了本三维重建系统在真实场景下的测试效果。
其他文献
现代医学经常借助于内窥镜对人体进行检查、治疗以及康复监测。但由于内窥镜视野较为狭窄且人体因为呼吸、运动等会导致器官发生形变,外科医生在手术中难以对软组织表面进行全面准确的复原与跟踪,同时对内窥镜图像序列软组织表面特征的跟踪,在手术培训和教学、虚拟现实软组织3D建模等领域也有重要应用。本文对基于深度特征学习的软组织三维运动跟踪方法进行了研究,主要包括帧间三角匹配、深度特征提取与匹配以及帧内跟踪三个部
以人体为中心的研究在计算机视觉领域是重要研究方向,从二维姿态至人体形状生成被广泛应用在相关领域,如人体姿态识别,人机交互,虚拟现实和运动捕捉等等。本文基于SMPL模型,对直接从三维姿态至人体形状、二维姿态至人体形状进行了探究,在此基础上本文对从单张自然图像中生成人体形状进行了探究,以及从多视角轮廓图像中对人体形状生成进行了探究。本文的主要工作内容可以概括如下:(1)本文在第三章对从三维/二维姿态至
随着电子信息技术的高速发展,我国集成电路产业的市场规模不断扩张,对芯片的需求量大幅上涨。光刻机作为集成电路的核心制造装备,其生产过程中的制造精度是保障芯片成品率的关键。光刻机工件台调平系统是光刻机的重要组成部件,其调平精度将直接影响到芯片成品率、光刻成本及效率。目前光刻机调平技术常采用折射-反射的光路结构,涉及的元器件较多,整体结构成本较高,鲁棒性较差。本文以光刻机工件台调平系统为研究对象,以解决
医学影像是一种非常重要的信息载体,其可以很好的帮助临床医师了解患者病情,辅助医师规划治疗方案。医学图像分割技术同样在临床应用中有着至关重要的作用,例如病灶大小测量、器官和病灶定位、病灶形状、放疗规划、辅助手术和解剖结构研究等。目前基于传统图像处理和深度学习的图像分割技术被广泛的应用于医疗图像的自动分割。然而,精确的医疗图像分割仍然存在以下挑战。首先患者的组织和病灶结构呈现高度的多样性和变异性;医疗
我们研究天然胶原中横向交联已有一些时候了,在交联时赖氨酸和羟基赖氨酸的氧化成醛基的ε-氨基与其他肽链的醛基或ε-氨基起反应。在醛鞣时的化学反应进行是相似的,因为鞣性醛在这里同样是与赖氨酸和羟基赖氨酸的ε-氨基起反应,生成了人工交联。我们提出关于我们的工作范围内取得的结果一览,是偏于实际明瞭情况的,但另
期刊
益生菌(Probiotics)是一类能够改善宿主肠内微生物平衡,并对宿主产生健康功效的微生物,然而益生菌在严苛胃肠和湿热环境易丧失活性,大多益生菌在60℃以上高温就会出现大量死亡,因此如何提高益生菌在湿热环境下的存活率是目前益生菌应用领域迫切需要解决的核心问题之一,使用良好的耐热壁材对益生菌进行微胶囊化可以很好地解决这一问题。本文首先通过转谷氨酰胺酶与预热后的乳清分离蛋白共价交联制备微胶囊,通过致
《祝福》以它深邃的思想,感染了一代又一代的中国人;鲁迅对封建文化的鞭挞,在今天仍有其巨大的现实意义.从民族文化反省的角度阅读作品,引导学生理解封建礼教对人性的摧残,反思封建思想对旧中国劳动妇女的毒害,对于生成、发展和提升语文核心素养大有裨益.《祝福》写于1924年2月7日,是《彷徨》的第一篇.相对于近100年后的人尤其中学生来说,理解文意就稍显困难,从“我”的视角出发,循着作者的创作意图,回归文本
近年来高校采取了诸多方案以缓解学生人数与实验仪器数量之间的矛盾。随着信息化教学的不断发展,高校使用计算机开发程序以模拟实验流程,已研发出相关虚拟实验代替传统实验。本文在此背景下设计了基于三维引擎的虚拟实验,不依赖传统测试软件内置函数,独立开发完成了三维实验的各项功能。与传统的二维虚拟仿真实验相比,该实验不仅模拟了实验流程,同时还具有很好的真实感与沉浸感。最后将该实验发布到网络上,使用户能够不受时空
布尔函数是密码学和电路设计的基础,布尔函数等价判定在加密函数设计和电路优化方面都有重要应用。等价判定问题的目标是对给定的两个布尔函数,判断是否存在由可逆矩阵和布尔向量构成的仿射变换,使得两函数仿射等价。若函数等价,则进一步给出对应的仿射变换。本文在研究了已有的等价判定方法基础上,提出了一种基于矩阵群的仿射等价判定算法。由于布尔函数全体及其仿射变换空间具有随变元个数呈双指数增长的特性,如何针对给定布
知识图谱技术的兴起为业界和学术界提供了一种更好的组织、管理和理解互联网中海量数据的有效方案。目前,知识图谱技术广泛应用于实体搜索、推荐系统、开放域问答等许多AI领域。然而,由于知识图谱的知识不完备,即图谱中存在缺失的实体或链接,导致知识图谱的使用存在巨大的限制,大大限制了知识图谱在用于检索和推理的准确性。补全知识图谱,完成知识图谱链接预测任务的研究成为知识图谱的核心任务之一。本文对知识图谱的链接预