基于GAN的人脸属性解耦编辑研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wwwenda
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸属性编辑是指更改人脸图像的某个或者某些属性,比如姿态、表情、年龄等,而其它的属性不发生变化。目前,人脸属性编辑在社交娱乐,人机交互等场景具有广泛的应用。诸如美颜、换脸、虚拟人助理等已经在手机端被广泛使用。随着计算机图形学和计算机视觉,特别是生成对抗网络的快速发展,人脸属性编辑算法也层出不穷。然而,其中的有些算法对于人脸属性的解耦不充分,并且需要大规模的人脸属性标注数据来训练网络,这限制了这类算法的编辑效果。另一些算法则对于真实的人脸编辑需要较长的处理时间,这极大地限制该类算法的使用场景。本文针对这些问题,提出了一个能够快速实现人脸属性解耦和编辑的算法,并且该算法采用弱监督的方式实现,不需要使用大规模的人脸属性标注数据集。为了实现多种人脸属性编辑,本文提出了一种人脸属性的解耦表示方法。本文将人脸属性分为身份、细粒度纹理、姿态、表情、光照等五种属性。通过结合3D人脸模型和基于卷积神经网络的编码器,实现了更加准确且快速的人脸属性表示方法。对于姿态、表情、光照等信息,利用了3D人脸模型对于这些属性的解耦能力。而对于身份和纹理信息,则利用了深度神经网络提取图像信息的能力,实现更加准确的表达。其中对于纹理信息,本文能够实现细粒度的纹理编辑。为了生成高质量的人脸图像,本文设计了合适的生成对抗网络来融合这些属性从而生成具有特定属性的人脸图像。本文通过设计多尺度空间归一化模块来融合纹理和身份信息,从而极大程度上准确地保留了纹理和身份信息。通过优化人脸关键点等属性约束函数,本文实现了高质量的人脸图像生成及属性解耦。本文提出的算法可以直接应用于换脸、细粒度妆容迁移、姿态编辑、表情驱动、光照编辑等五个任务,并且能够快速地生成高质量的属性编辑图像。最后,通过定量和定性实现表明,本文提出的算法在上述任务中都达到或者接近当前最好的效果。
其他文献
近些年来,随着人工智能的快速发展,深度学习(Deep Learning)中的计算机视觉(Computer Vision,CV),自然语言处理(Natural Language Processing,NLP)等领域发展迅速,一些深度学习模型在目标检测,图像分割,推荐系统等方面具有强大的应用能力。在带来重大的社会经济效益的同时,大量研究表明,深度学习容易受到对抗样本(Adversarial Examp
学位
大规模多输入多输出(Multi-Input Multi-Output,MIMO)技术的应用极大地提高了移动通信系统的系统容量、频谱利用率和能量效率。通过信道估计和预测等方式,大规模MIMO系统可以获得实时信道状态信息,并在此基础上设计基站端的预编码矩阵。预编码可以有效削弱多用户干扰(Multi-user Interference,MUI)和噪声的影响,从而发挥大规模MIMO的优势。现有研究通常采用
学位
验电是保障电力作业安全的重要操作,目前对验电设备的研究分为接触式验电和非接触式验电。随着带电设备电压等级的提高,非接触式验电技术因其安全性高得到了广泛研究和推广。在当前的非接触式验电研究中,一方面,验电设备不能适用于不同电压等级的验电操作,通用性差;另一方面,通过建立蓝牙连接完成通信需要提前知道设备的MAC地址,灵活性低且不易拓展。此外,只有一个电压测量点的设计还存在有漏判的风险,且未考虑低功耗的
学位
高速列车是我国人民出行、物资运输的重要交通工具之一,为保证列车调度系统的正常工作,列车运行时的位置信息至关重要。目前我国高速列车通过轨道电路和应答器相结合来实现列车定位,这种方式不仅耗材耗力,而且存在应答器被恶劣天气损坏,导致重大事故的风险。全球导航卫星系统(Global Navigation Satellite System,GNSS)能够提供大范围、全天候和高可靠的位置服务,但是将其运用在高速
学位
雷达系统和通信系统无论是民用领域还是军用领域都有着非常广泛的应用前景。随着信息化技术的快速发展,为缓解频谱资源紧张问题,减少多功能平台设备的冗余,设计雷达通信融合系统必将成为研究热点。雷达通信融合系统将雷达和通信集成在同一硬件平台,结合软件无线电技术,同时实现雷达探测和无线通信的功能。设计融合系统可以节省平台空间、成本和功耗,减少设备间的干扰,提高频谱利用率,还可以提升平台的协同工作能力等。其中,
学位
神经网络架构搜索是自动化机器学习领域一项重要的应用。传统深度学习都是由专家人工设计并调参,神经网络架构搜索技术是为了根据目标数据集自动化搜索适合硬件特性以及数据集任务的网络架构,是轻量级硬件设备中移植算法的重要工具。但神经网络架构搜索存在效率不高、可迁移性差等问题。本文针对神经网络架构搜索中高效性以及实用性问题,提出了一个面向华为昇腾芯片的可微分神经网络架构搜索方法,主要贡献如下:(1)提出了基于
学位
文字是人类最伟大的发明之一,它不仅是人类语言的书面表达形式,更是一种文化传承。一方面,文字作为一种重要的信息媒介,如图书、文档、票据等包含大量文字,能够方便人们的信息交流,从而显著提高办公效率。另一方面,图像、视频中的文字携带大量的语义信息,通过识别其中的文字,有助于对特殊场景的理解。当今信息时代,文字的重要性愈加显著。由于中文字符类间相似性高,类内方差大,并且字符之间通常存在很大的数据不平衡问题
学位
步态识别在生物识别中是一项具有挑战性和吸引力的任务,研究在监控视频数据下,根据行人行走姿态的周期性变化特征对其身份进行有效识别。同时,其远距离感知能力和良好的隐蔽性也在智能安防领域有着重大意义。步态识别的早期方法主要是基于外观轮廓,而轮廓形状并非一成不变,由于光照变化,穿着衣物或其他外部因素的影响,其轮廓可能会发生剧烈变化。而基于骨架的步态识别方法则可以较少的受外部因素影响,只是目前骨架数据提取及
学位
大规模MIMO技术通过在基站端部署大规模的天线阵列同时服务多个用户,可以显著提升系统的频谱利用效率以及数据传输速率。大规模MIMO系统的性能严重依赖于CSI,因此准确的CSI的获取是系统性能提升的关键。由于大规模MIMO系统中信道具有快变和非平稳的特性,利用传统信道估计方法会出现CSI过时的问题。针对大规模MIMO系统中获取准确CSI的问题,本文对大规模MIMO系统下信道估计方法以及信道预测方法进
学位
随着互联网的发展与普及,人们的版权保护意识愈发强烈。可见水印是一种被广泛运用的图像版权保护方式。研究如何有效地去除这些水印可为发明更健壮的水印图像技术提供启示。此外,可见水印影响了图像质量以及视觉效果,不利于某些基础计算机视觉任务,如文字检测识别、图像分割等任务的进行。鉴于此,亟需展开图像水印去除的研究。水印的形状、尺寸、位置、透明度等变化的特点给水印去除任务带来了困难。虽然目前存在的一些主流图像
学位