基于单张图片的三维人脸重建

来源 :西南大学 | 被引量 : 0次 | 上传用户:kentxp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸是人类生物识别的重要信息载体,是人类起源以来最为重要的生物特征之一,它能够表达一个人独特的身份信息、情感信息等。随着计算机视觉与计算机图形学的发展,科学家们开始着力于用于分析人脸的相关计算工具与方法。近年,便携式数码设备被迅速普及,人脸图片的获取相较于过去也变得更容易,使得对人脸的分析可以在不同的领域得到广泛的应用,比如人机交互、动画制作以及安全防控等。同样,随着三维技术的快速发展,利用三维重建技术构建人脸模型分析人脸可以应用于影视娱乐、智慧医疗以及人脸识别等领域。目前,三维人脸重建技术在学术界以及工业界有着广泛的研究,主要方法分为主动式三维人脸重建与被动式三维人脸重建。其中,主动式三维人脸重建方法一般在特定的室内或光照条件良好的室外条件下,利用结构光或激光扫描仪等高精度三维仪器采集人脸的几何形状数据以及纹理颜色数据。此种方法能够构建高精度且具有真实感的三维人脸模型,但重建条件太苛刻,需要使用专业的物理设备采集人脸数据,不利于普及。被动式三维人脸重建方法则主要基于已有的人脸图片或视频序列,结合先验知识重建出三维人脸模型。同样,被动式三维人脸重建方法可分为基于光度法的重建方法、基于形变模型的重建方法以及基于深度学习的重建方法。基于前两种传统方法重建出的人脸模型对图片中光照、人脸姿态以及遮挡等条件要求较高,且重建出的人脸模型都大致相似。随着深度学习在各领域掀起变革,它在人脸重建方法中也得到广泛应用,基于深度学习的相关方法一般是结合传统的人脸重建方法作为网络学习的先验知识,绕开了复杂的优化过程,极大程度简化了重建方法。因此本文结合深度学习中的卷积神经网络与传统的三维人脸形变模型,基于单张二维人脸图片重建高质量三维人脸模型。本文主要工作内容分为以下两个部分:(1)针对人脸几何形状的重建,为了解决现阶段存在的大姿态、极端光照以及遮挡情况下面部重建效果不理想的问题,本文提出一种基于端到端网络的UV空间映射人脸几何生成方法。具体地说,本文结合三维形变模型,将带有人脸对齐信息的人脸几何形状数据存储至图形学领域常用于存储纹理贴图的UV空间当中,形成三维人脸形状模型在二维UV空间的存储。其中三维人脸模型的三个空间坐标(X,Y,Z)可利用UV空间的颜色通道来表示,简化了传统人脸重建方法复杂的优化过程。同时通过对大姿态三维人脸数据集执行旋转、缩放、改变颜色通道以及加入遮挡等扩充操作,结合对人脸识别网络基础模块堆叠的端到端网络与高效的损失函数,消除了人脸重建过程产生的伪影。最终实现了在极端光照环境、大姿态以及遮挡等苛刻条件下从单张二维人脸图片到三维人脸形状的重建。(2)针对人脸纹理的重建,现阶段存在的少部分能够重建出具有真实感的人脸纹理方法并未向外界公开其高质量的人脸纹理数据。因此,为了解决高质量人脸纹理数据的缺失,本文提出了基于深度学习的三维形变模型纹理重建方法。具体来讲,本文利用三维形变模型形状部分结合平均纹理以及主成分的基构建初始三维人脸模型,作为网络训练的先验知识。同时,利用高效的人脸识别网络基础模块搭建编码器结构,拟合二维人脸图片估计三维形变模型参数、球谐函数的光照参数以及视角转换的相机参数。结合网络渲染层模拟环境光照,将三维人脸模型渲染生成二维人脸图像。最后,通过设计高效的损失函数使得网络可以学习得到具有身份辨识度的高质量三维人脸纹理模型。
其他文献
作为自然语言处理领域的一项关键任务,实体关系抽取受到越来越多的关注,其目的是从原始文本中获取结构化知识,得到<头实体、关系、尾实体>形式的三元组。提取的三元组被广泛用于知识图谱、智能搜索、电商推荐、问答系统等领域,有着重要的研究与应用价值。实体关系联合抽取利用实体和关系间紧密的信息交互,同时抽取实体以及实体对之间的关系,很好地缓解了流水线方法所存在的错误传播等问题。中英文由于语言之间的差异性,在实
学位
近年来,随着互联网技术的发展以及信息搜集工具的进步,我们的生活已经被各种各样的数据包围。数据信息已然成为了一种十分重要的资源,对人们有着十分重要的意义。如何从海量的,纷繁复杂的数据中提取有用的信息成为了科学界与产业界共同关注的热点。因此,各式各样的数据挖掘方法被不断地提出。聚类,作为数据挖掘领域地一个重要的技术手段,它可以在无任何先验知识的情况下,通过探究数据之间的内在关系来将一组对象进行划分归类
学位
自然界中的事物以不同的形式相互联系着,这种联系构成了一种复杂的系统。如何从这种复杂系统中寻找出其内在蕴含的信息,揭示系统的运行规律,探究事物发展和联系的本质,已逐渐成为科学家的研究焦点。如果把复杂系统中的事物个体抽象为网络中的节点,把事物个体间的关系抽象为网络的连边,那么就可以把复杂系统抽象为复杂网络。随着对复杂网络研究的不断深入,复杂网络的分析方法已渗透到现实世界的各个领域,被广泛应用于社会、交
学位
不管是传统的机器学习,还是现在的深度学习,事件序列预测任务都始终贯穿了它们的发展历程。具体而言,机器学习模型需要从事件序列(Events Sequence)中提取合适的历史信息,并通过这些历史信息得到未来事件的条件概率分布,从而实现对未来事件的预测。一般而言,深度学习使用循环神经网络(Recurrent Neural Network,RNN),或是带有掩盖机制(Mask)的自注意力(Self-At
学位
目标检测和视觉导航是无人驾驶的关键技术。传统的道线检测依赖于特征提取和检测校正,交通标志识别依赖于色彩分析和图像分割,然而道路场景的剧烈变化导致算法的鲁棒性较差。基于模拟的无人驾驶场景,本文探究深度学习模型LaneNet和YOLOv4,以完成智能车的视觉导航与目标识别。针对不同识别任务,文章采取传统视觉与深度学习结合的方式,保证算法的鲁棒性与实时性。在室内模拟场景中,智能车的无人驾驶系统能够准确实
期刊
钟秉林教授的新版著作《高考改革:理想与现实》,聚焦新高考改革,基于访谈和问卷调查等实证研究方法,对新高考改革进行持续的跟踪评估,为推进新高考提供理论支持,是新高考改革研究的重要成果。该书既肯定新高考的成效,也直面问题,为完善新高考提供改革参考。该书所收录的多篇论文曾对新高考改革的政策调整与实践改进起到实质性推动作用,产生了较大的社会效益和学术影响。
期刊
聚类,也称为聚类分析,是最基本和最重要的无监督学习范式之一。它旨在根据数据样本间的相似度情况,将样本划分到不同的簇(组),分配到同一个簇中的样本的相似性高,不同簇中的样本的相似性低。传统的聚类算法仅能从给定的数据中找出一个聚类结果。然而,由于数据采集和存储技术的进步,人们所分析的数据更为复杂,其中可能包含不同种类的异构特征。例如,数据集中的特征可能包含不同量纲的特征或采集自多个来源。这些特征的不同
学位
为提高智能车在不同速度和载荷下的路径跟随精度和稳定性,提出一种基于反馈纯跟踪的智能车路径跟随方法。首先,基于车辆运动学模型和纯跟踪模型分析影响控制效果的因素;然后根据车辆速度和路径曲率动态调整前视距离,将横向偏差作为反馈变量对传统纯跟踪控制方法进行补偿;接着通过仿真试验选定控制参数,分析控制参数对路径跟随精度和车辆稳定性的影响;最后通过实车试验,验证该方法在实车环境中的控制性能。结果表明,该方法具
期刊
共识算法是区块链系统中重要的组成部分,具有维持数据一致性、保障系统安全性的作用,对区块链系统的性能有很大影响。联盟链与公有链相比,节点数量较少并且存在准入机制,因此普遍使用基于投票的共识算法,例如Raft共识算法和PBFT共识算法。Raft共识算法具有通信时间复杂度低、吞吐量高、时延低、可理解性强等优势,极大地提高了对交易的处理能力,推动了联盟链项目落地。然而Raft共识算法仅能容忍故障错误,无法
学位
文本分类是自然语言处理领域的一项关键任务,并被广泛应用于虚假信息检测、情感分析、自动问答等现实场景。传统机器学习方法需要人工提取特征,这种复杂耗时的方案不再适用于当下大量实时涌现的文本流。深度学习的兴起解决了这一问题,能自动处理大量文本信息。但是,基于深度学习的方法局限于文本内部单词交互,忽略文本之间的联系以及单词的全局共现关系,难以解决长距离依赖和非连续性问题。最近,基于图神经网络的方法在文本分
学位