基于GAN的大角度单图重建高清3D人脸算法

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:li5815736
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在涉及到3D人物的领域,如电影制作、游戏制作、虚拟主播等,构建3D人脸模型一直是不可或缺的一步。在现实中,一个人物的3D建模对于各类资源如人力、财力资源有大量需求。对于一个人物的建模,不仅需要确定拓扑结构,还需要设计具有丰富细节的人物纹理。而引入深度学习的自动化重建3D人脸模型能够大大提高人物建模的效率。尽管基于深度学习的3D人脸重建算法能够快速地生成输入图像的3D模型结果,但在训练过程中仍然面临着许多问题。一是高质量标注数据的缺乏,对于一个3D模型,通常由3D扫描仪器进行扫描,如果统一了拓扑结构,那么还需要对扫描后的3D结果进行清洗重构,这种做法十分耗费人力、财力。对于高质量标注数据缺乏的问题,通常利用关键点拟合的方法,那么,如何更好的利用当前已有的高质量关键点标注数据是个重要的突破口。二是3D人脸重建的精度问题,目前3D人脸重建存在两种方向,一种是训练模型拟合人脸参数,另一种是训练模型直接拟合3D人脸顶点。这两种方式各有优缺点,如何优化模型框架来提高重建精度是个亟需解决的问题。三是重建出来的人脸的纹理清晰度与完整度,单图3D人脸重建存在一个很明显的问题就是单张图无法展示完整的人脸纹理,特别是侧面人物图像,如何尽可能的恢复缺失的侧面部分纹理是一个很重要的问题。针对以上问题,本文的主要工作包括:1.提出基于卷积神经网络的3D人脸对齐算法:本文提出了一种基于卷积神经网络的人脸对齐算法DANF,利用人脸参数损失以及顶点损失学习人物图像到人脸参数的表达。同时提出了一种简单并且十分有效的数据集增强方式。该算法以及数据增强方式不仅能够提高单图3D人脸对齐的精度,并且增强了模型的稳定性,使得DANF能够适应大角度人脸图像。2.提出基于生成式对抗网络的面部纹理补全算法:本文提出了一种基于生成式对抗网络的面部纹理补全算法SPIC,利用外观匹配损失以及全局匹配损失学习残缺面部纹理的补全。同时提出了一种低成本并且能够快速创建完整人脸纹理数据集的方法。利用该算法与纹理数据集能够自然地将残缺的面部纹理补全完整。3.提出基于ESRGAN的面部纹理超分辨率算法:本文提出了一种基于ESR-GAN的面部纹理超分辨率模型ETSRGAN。利用ETSRGAN及高分辨率纹理数据集能够将低分辨率的面部纹理提升至1K分辨率,同时恢复其中丰富的纹理细节。本文在多个3D人脸重建数据集上验证了所提出的算法,实验结果表明,本文所提出的算法在不同的3D人脸重建数据集上超过了其他同类3D人脸重建算法。
其他文献
随着信息技术的飞速发展,半导体脉冲激光器被广泛应用在各个领域。由于光脉冲输出特性可以通过注入的电脉冲信号直接调制,因此电脉冲发生器输出脉冲的宽度、幅值以及重复频率是关键指标。对脉冲发生电路的国内外研究现状进行调研,发现能够实现百皮秒以下的脉冲发生电路相对较少,而市面上产品化的电脉冲发生器成本高昂且体积较大。基于分立器件的脉冲发生器可以克服这些缺点,因此在作为半导体激光器驱动源的方面备受关注。本文的
学位
近年来,光开关因其高速度、低损耗等优点被广泛应用在光通信领域。偶氮苯(Azo)具有良好的光异构化特性,可以应用于光开关。本文通过结合溶胶-凝胶技术与旋涂方法,分别制备了掺Azo的二氧化钛基和二氧化锗基有机-无机复合薄膜。研究了不同热处理温度以及不同偶氮含量下两种有机-无机复合薄膜的表面粗糙度、光化学结构特性以及光响应特性等。此外,在二氧化钛基复合薄膜体系中引入了分散红1有机染料分子,研究了该复合薄
随着互联网的飞速发展,在线教育平台有了广大受众,一些平台纷纷推出个性化导学产品,给学生提供个性化服务。如何对学生能力正确评估和跟踪是个性化导学中的难点问题。知识追踪技术就是根据学习的历史记录跟踪学生的知识掌握水平,预测学生的未来表现。本文针对传统知识追踪技术中的预测准确性不高、过拟合问题和多特征利用率低等不足,提出了新的知识追踪模型,具体工作如下:(1)提出了一种基于堆叠GRU残差网络的知识追踪模
学位
随着我国特色小镇建设工作的实践逐渐成熟,对特色小镇的建设逐渐由量化发展走向精细化发展,加上人民的精神文明建设需求日益增加,对结合了新型文化产业的文旅型特色小镇的研究和实践也渐渐增加。婚庆小镇作为以婚庆产业为主导的文化产业型特色小镇,对于探索文化体验型产业与特色小镇的有机融合有一定的研究意义。本研究遵循婚俗文化和相关产业之间的融合为婚庆小镇营造的基本着力点,通过对文旅型特色小镇以及婚庆产业进行相关的
得益于人工智能在视觉领域的高速发展,搭载着人工智能模型的视觉摄像头将在各类灾害预警中起到越来越重要的地位。尤其在火灾预警的各类技术中,基于视觉摄像头的视频烟雾检测技术因为其适用性广、部署灵活、检测迅速以及实时性能高等一系列优点,受到了各方的广泛的关注。并且已经有取代传统基于传感器的预警装置的趋势。但尽管视频烟雾检测已经取得了相当的成就,相关研究仍存在诸多问题。首先,火灾发生的情景非常多样,这导致在
随着互联网日渐发达,在线教育也越来越流行,而在线教育平台产生的海量学习数据,为教育研究者们探索如何更好地辅助学生的学习提供了数据基础。学生的学习行为模式,知识水平等潜在信息,正蕴含在这海量数据当中。知识追踪(Knowledge Tracing,KT)是近年来的研究热点,它是根据学生的历史答题数据,评估知识状态,预测未来表现,通常通过构建学生模型来完成。2015年,深度神经网络首次被使用在知识追踪当
大数据时代,随着移动互联网、卫星定位导航等技术的发展,移动目标轨迹数据呈现出爆炸式地增长态势。如何实现多源轨迹数据安全联合挖掘,破解“数据孤岛”,是当前理论学术界和工业产业界共同面临的重点难点问题。具有协作性和隐私性的联邦学习技术是解决这一挑战的有效手段。近年来,联邦学习已经在智慧金融、智慧医疗、智慧交通建设等领域得到应用,但是在充满潜力的轨迹数据挖掘领域却鲜有研究。因此,本文采用联邦学习算法模型
近年来互联网技术飞速发展,给社会生活带来了巨大的改变。许多行业开始与互联网技术融合,给我们的生活带来了极大的便利,诸如:网络购物、在线会议等等。将传统的教育模式向“互联网+教育”的新模式转变,这是教育适应时代发展的必然途径,同时也是提高教育质量和水平的方式之一。目前关于“互联网+”教育方面的研究更多的停留在理论层面,对于具体的实施方法探讨不多,对初中物理教学实施“互联网+”的教学模式的探讨更少。在