基于多尺度图卷积神经网络的3D人脸表示与重建

来源 :天津大学 | 被引量 : 0次 | 上传用户:q363342684
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维人脸的有效表示以及重建在计算机视觉和图形学有着广泛的应用。三维人脸的表示,即是通过一定的算法得到三维人脸的高维特征数据,重建就是从高维特征数据中能够通过算法模型重建出对应的三维人脸。大多数存在的线性表示算法并不能有效的重建出高质量的三维人脸数据,尤其是对于面部细节的处理比较粗糙,而最新的非线性表示方法不太适用于实际三维形状。三维人脸的表示和重建能够给人脸识别、机器情感表达等方向提供该技术支持,还能为其他诸如三维人体驱动,场景三维重建等方向提供参考依据。为了解决三维人脸的有效表示以及重建,本文提出了一种基于图卷积的多尺度自动编码器神经网络模型,用来处理三维人脸的潜在表示和重建。本文提出的自动编码器神经网络模型使用的是图卷积,图卷积是一种适用于具有图结构数据的神经网络模块,这就解决了传统卷积神经网络难以有效提取特征的问题。结合三维网格的采样算法,能够在多尺度上进行三维网格的特征提取,做到了类似于传统2D数据池化操作的特性。本文的模型也能够进行变分训练,训练完成的网络可以用来生成更多高质量的三维人脸数据,为其他任务做数据增强。本文的创新点和成果如下:1.提出了基于图卷积的多尺度自动编码器模型,使用图卷积来有效的对三维人脸数据进行特征提取,结合对网格数据的采样算法,实现多尺度的特征提取,此模型解决的传统卷积网络模型不能有效的泛化到三维空间的问题,并且使用自动编码器结构高效的实现了人脸模型的潜层表示以及重建。本文的模型也适用于大多数其他类型的三维模型,不仅限于人脸模型。2.三维网格数据不需要进行复杂的编码过程,本文提出的网络模型可以直接输入三维网格原始数据,而不需要复杂的数据的特征表示编码过程,也就是达到了端到端的输入和输出。3.实现了三维人脸网格的变分生成模型,变分生成模型的训练需要很好的权衡损失函数中相对熵和重建误差之间的权重,本文采用了自增长的权重设置算法,实现了网络模型的稳定训练,能够生成高质量的三维人脸模型。
其他文献
标记分布学习是一种新型的解决标记多义性问题的机器学习范式,其在处理标记模糊性问题方面有着十分重要的应用。不同于多标记学习,标记分布学习的标记空间不再是离散的标记向量而是各个标记对于样本的描述程度,它是一种更加泛化的表示形式。近些年来,标记分布学习以其十分广泛的应用背景,得到了越来越多的研究者的重视。在目前的标记分布学习模型中,大部分采用最大熵模型对标记分布学习数据进行预测并没有对标记空间中存在的信
异构迁移聚类可以在无监督的情况下将知识从相关的异构源域迁移到目标域。现有的工作通常需要使用大量的完整共现数据,这种数据通常是异构的,使用转换函数是实现将异构数据映射到公共潜在特征子空间的方法。然而,在许多实际应用中,收集大量的共现数据是不现实的,而现有的共现数据往往是不完整的。另一个常见的问题是,实际中异构数据的复杂结构可能导致聚类性能的大幅度下降。为了解决这些问题,本文从两个方面提出了无监督异构
水下传感器网络如今已经被广泛地应用于海洋监测、开发和探索。水下传感器网络采用声波进行数据传输,水声信道的误码率较高、传播速度低、时延大、衰减严重,且网络拓扑时刻在动态变化。由于传感器节点被部署在广泛的水体中,所以很难对容量有限的电池进行补充和更换。在数据包的路由过程中,对网络空洞问题的处理方式,直接影响到水下网络的吞吐量、及时性和健壮性。目前,已经有很多的水下传感器网络路由协议被提出,但是它们要么
在嵌入式设备上,如何在保证运行结果准确率的情况下,提高卷积神经网络的运行速度并尽可能降低运行能量消耗,是卷积神经网络加速器设计面临的关键问题之一。同时,由于缺少统一的加速器架构和相应的软件开发环境,将卷积神经网络移植到加速器上,需要复杂的开发过程,增加了加速器使用复杂度。因此,如何将加速器性能、功耗与加速器对网络模型的通用性、适用性结合起来,是对加速器整体设计的一个考验。本文提出了一种面向卷积神经
知识图谱是由实体和关系组成的有向图,图中的节点表示现实世界中的各种事物实体,图中的边表示这些事物实体之间的相互关系。但是知识图谱通常都是不完全的,会有大量的关系缺失,通过人工的方式补全这些缺失的关系,需要消耗大量的人力和时间。因此,知识表示学习被提出来,通过将实体嵌入到连续的低维向量空间中,进而实现知识图谱的自动补全。Trans E模型是谷歌提出来的第一个基于翻译的知识表示模型,它是后续所有基于翻
在经典机器学习问题中,多标记学习作为一个热门的研究内容对现实世界多义性对象的研究具有重要意义,然而在现有的多标记学习算法中都忽略了标签之间具有的不平衡性。很多时候,研究者们更关心实例对于不同标签的隶属度以及其分布情况,因此有研究将多标记数据中的逻辑标记替换成了概率分布的形式,这就得到了标记分布数据。不论是多标记数据还是标记分布数据,都面临着数据规模爆炸式增长的问题。时至今日,针对多标记数据的特征选
近年来,随着互联网技术的蓬勃发展以及文本信息的爆炸式增长,“信息过载”问题愈发严重。如何快速准确地从大量无结构的信息中抽取出用户感兴趣的信息成为当前自然语言处理领域的热点问题。因此,信息抽取技术受到的关注逐年增加。作为信息抽取中的重要子任务,事件抽取旨在从自然语言文本中抽取出指定的事件信息,并以结构化的形式存入数据库中。事件抽取任务分为两个子任务:事件检测和事件论元抽取,本课题主要聚焦于第一个子任
信度分配技术涉及确定系统组件对系统整体性能的贡献,强化学习的成功离不开信度分配技术。在多智能体强化学习领域信度分配主要是合作式环境下各智能体对全局奖励信号的分配。通过研究信度分配机制,来完善或解决合作式多智能体深度强化学习下单个智能体策略更新信号不准确的问题,从而达到提高多智能体学习效率和协作程度的目的。因此,多智能体信度分配是解决合作式多智能体协调问题的关键。然而,一方面之前的研究大多基于差异奖
目标检测是计算机视觉中常见而具有挑战性的任务,传统的目标检测分为滑窗提取候选区域,提取相关特征和对特征分类三个过程。该方法存在的缺陷有滑窗时间复杂和窗口冗余,除此之外,手动设计的特征在目标多样性上没有很好的鲁棒性。深度学习技术不断发展,目标候选区域和相关特征可以通过卷积神经网络来提取,目标检测任务变成端对端的形式。深度学习的检测算法在速度和准确性上有了很大提升。天文学领域中,检测日冕暗化(Coro
数字图像作为信息的重要载体之一,在人们的日常生活、娱乐和工作中发挥着至关重要的作用。伴随着数字图像的广泛传播,人们对数字图像进行修改的需求愈加迫切,由此出现了各种图像编辑软件,如Photoshop、美图秀秀等。尽管这些图像编辑软件给人们带来了极大的便利,但是也给了不法分子可乘之机。如果这些虚假图像被用于媒体、科研、司法等领域,势必会引起恶劣的影响。因此,数字图像取证引起了研究人员的广泛关注。图像彩