基于深度对抗网络的表情生成与转移方法

来源 :浙江工业大学 | 被引量 : 0次 | 上传用户:rockwjm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前基于生成对抗网络算法的人脸图像相关应用,包括人脸合成,脸部去妆,表情合成等,是计算机视觉领域的研究热点。其中人脸表情合成算法一直受到研究者的广泛关注。表情合成即通过图像处理算法使得目标人脸图像拥有特定的表情细节。表情合成在日常娱乐、电影特效、公安刑侦面部合成和医疗影像等领域有广阔的应用前景,因而研究人脸表情合成具有重要意义。
  本文在研究现有表情合成方法的基础上,提出两种不同类别的表情合成方法,表情生成与表情转移。表情生成算法是将目标人脸图像的表情转换成其它几种特定的表情。当前的基于生成对抗网络的表情生成方法通过图像重建和表情分类对抗网络,可以在保证图像的身份信息不变的前提下有效实现表情的生成。但是这样生成的图像质量不高,且无法将算法应用在动态图像上。表情转移算法是将源人脸图像的表情细节转移到目标人脸图像上。当前的表情转移算法大都基于特征点检测算法,针对特征点进行图像的变形与合成操作。这样的方法非常依赖于特征点的数量和特征点检测的准确性,且生成表情较不真实。
  针对上述问题,本文提出了一种新的基于生成对抗网络的表情生成和转移方法。该方法不需要使用人脸特征点检测算法,且生成图像质量稳定,可以应用在动态图像数据中。本文的主要工作和成果如下:
  1.针对多特征的人脸表情和属性生成方法,采用基于生成对抗网络的算法进行优化,提出了包括生成器的输入方式、生成网络的模型结构和图像重建相关损失函数,以及判别器的多尺度特征提取网络结构等四个方面的优化,得到更高质量的人脸特征和表情生成的图片。
  2.针对表情转移的需求特点,采用新的生成对抗网络结构实现人脸表情的转移算法。主要创新点有三个,分别对应于生成器的网络结构、损失函数,以及用于保持身份信息和表情信息的判别器的网络结构。经过该算法合成的人脸表情图像自然逼真且生成表情不局限于特定类别,可以拥有个性化的表情。
  最后通过实验分析分别对比表情生成算法与表情转移算法,实验结果显示通过本文方法训练的网络模型分类准确度更高,经过该网络模型生成的图像质量也明显优于现有的生成算法。
其他文献
水果和蔬菜作为高能量和丰富营养物质的来源,其构成了一个重要的食物群体,并可减少一些慢性病的发病率。果蔬的营养价值不仅对消费者的健康有益,还对微生物的生长与繁殖也有益,它们可以作为微生物特别是病原体或机会致病菌的储存库。多样化的微生物组可以通过胃进入肠道,并在肠道定植,从而对人类健康产生各种影响。近年来发现,水果和蔬菜的消费量增加伴随着人类感染和爆发的疾病也在增加。肺炎克雷伯菌是一种在医院内感染仅次
学位
蓄热式燃烧技术是在燃料燃烧领域中诞生的一项全新技术,被称为“21世纪的节能技术”。但是,此技术在应用上还不成熟,存在一些问题:烟气中碳黑颗粒极易在蓄热体通道入口处沉积,造成节能效率下降,导致蓄热体寿命缩短。因而,研究如何高效利用工业炉窑蓄热体,达到节能降耗的目的是很有意义的。为此,本文开展了一系列应用基础方面的研究。首先,通过氧势分析方法得知,在蓄热体表面上,沉积的碳黑与纳米TiO2不会发生化学反
内置式永磁同步电机(IPMSM)具有电磁转矩纹波系数小、动态响应快、运行平稳、过载能力强等优点。然而内置式永磁同步电机是一个复杂多变量的非线性系统,传统的线性控制方法难以保证其运行品质。因此针对此问题,本文围绕内置式永磁同步电机非线性控制方法展开研究工作,着重研究如何利用自抗扰控制、无源控制等非线性算法改善系统的动态响应能力和抗干扰能力。  本文首先对内置式永磁同步电机特点进行分析,构建其在两相同
火灾是人们共同面临的灾难性问题。为了避免火灾引发的重大事故,许多传统的火灾检测方法被广泛使用,如烟感、温感探测器。这些传感器被用来检测空气的湿度、温度或者烟雾,从而发出警报,其最大的局限性就是受到距离的限制,其有效探测范围较小,且不便于火灾的早期探测。为了克服传统探测器的不足,国内外研究人员提出了基于视频的火焰检测方法,这些方法通常将多个识别方法相结合来提高识别率。由于环境的复杂性,目前大部分算法
野外工作者和户外探险者的活动环境往往离居住区较远,当地气象信息相对较为缺乏,在这种环境下,对于天气的评估只能凭借人为观察和经验来判定,但对突发的危险天气缺乏一定的预测能力。而且偏远地区的公共通信基站数量少,手机信号覆盖不足,因此,当意外发生时,野外工作者几乎很难发出有效的求救信号。  本论文设计和实现了一种可穿戴式的局部危险天气预警系统,该系统能测量当前环境温度、湿度、气压以及闪电发生的次数和距离
无线通信的发展方兴未艾,由各类无线通信设备的增长和频谱分配不合理所带来的频谱资源稀缺现象正随着人类的发展而逐渐凸显出来[1]。电视白频谱(TV White Space,TVWS),由于其自身优良的传播特性,作为潜在的待开发频谱非常适合用于无线通信。动态频谱接入技术的提出,允许未授权的无线设备在不影响主要的授权设备使用的情况下,通过空闲的授权频谱资源进行通信[2]。这对于电视白频谱的应用是一个契机,
脑中风发病急,病死率高,是世界上最严重的致死性疾病之一。对于脑中风的治疗,预防和检测是整个过程的重要环节。微波检测由于具有非电离以及成本低等优点,成为具有广阔的发展前景的疾病可穿戴检测预警技术。其中天线作为微波信号的发射与接收设备,是微波检测系统重要的组成部分。因此,设计一款性能优越并适用于可穿戴微波检测系统的天线来提高疾病检测的准确性是具有重要意义的。折叠天线通过平面天线折叠来改变天线相位,在缩
学位
无人机(UAV)以其覆盖范围广、机动性强等优点,在提高无线通信系统性能方面有着巨大的潜力。本文主要围绕地面节点(GT)和UAV之间的能量权衡和UAV轨迹优化两个关键点,对UAV数据采集系统的优化传输策略进行研究。另对存在窃听者的场景下,对UAV中继系统保密能效最大化进行了探讨。具体研究内容归为如下三个方面:(1)首先,对单用户场景的UAV数据采集系统性能进行分析,引出了GT-UAV无线通信中的一种
学位
惯性导航系统是一种自主性强,有极强的抗干扰力,不受气象条件限制,满足全天候导航的导航系统。在航天、航空和航海等领域中有着广泛应用,是导弹等武器系统实现快速精确打击的重要保障。惯性导航系统结构复杂,误差源之间相互耦合,难以通过惯导系统误差参数,对其作战精度作出直观评估。同时由于战场情况瞬息万变,要求作战人员在短时间内作出武器系统精度评估和战术筹划,本文针对武器系统中的惯性导航精度进行准确快速地评估进
学位
盆栽试验结果表明,在高铁、高锰胁迫下硅对水稻生理特性、生长发育和产量有明显的正效应。高浓度铁、锰和低浓度硅组合,水稻根系活力、SOD酶活性和CAT酶活性最差、丙二醛(MDA)含量最高。相反,低浓度铁、锰和高浓度硅处理,上述水稻生理指标均有所改善。高硅,低铁、锰组合较对照分别增产15.2%和3.4%;高铁、锰组合不施硅肥较对照减产72.7%;低铁、锰组合不施硅肥较对照减产20.5%;高铁、高锰胁迫下