基于改进条件式生成对抗网络的人脸面部实时图像翻译

来源 :吉林大学 | 被引量 : 0次 | 上传用户:jeffbee
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像生成和图像翻译在计算机视觉领域中拥有举足轻重的地位,延伸出了越来越多的应用场景,如扩充数据集、图像属性编辑、人脸图像转换等。将面部图像翻译应用于深度伪造技术(Deepfake)是本文的主要工作,Deepfake是指基于深度学习等机器学习方法创建或合成视听觉内容,如图像、音视频、文本等。大多数的换脸技术对于时间和数据集是有严苛的要求,本文在训练数据集的获取方式进行设计,在应用中对网络模型进行剪枝操作,可以快速获取所需的训练数据集,同时缩减网络模型的大小间接提升了网络模型的生成速度。本文基于条件式生成对抗网络的图像翻译为主要研究内容,旨在设计出一种通用准确的人脸面部实时图像翻译的网络模型,用于面部图像的生成,完成实时换脸的场景应用研究,研究工作如下:首先,本文介绍基于面部裁剪图片作于约束的有监督图像翻译模型,以及基于域间图像数据集的无监督图像翻译模型,针对经典的有监督和无监督图像翻译模型的不足进行改进。在文中的有监督图像翻译模型中,生成器网络使用U-net网络结构,添加残差块和跳跃层减少特征损失,鉴别器网络加入多尺度特性,使用多尺度卷积鉴别器,取多个鉴别器在不同尺度结果的平均值作为判别条件。其次在无监督图像翻译模型中,在条件式生成对抗网络中对非成对数据集对偶训练。网络模型基于循环一致性思想,采用两个生成器和两个鉴别器组成两对生成对抗网络,生成器使用U形残差网络结构,鉴别器加入扩张卷积,在参数不变情况下扩大感受野,增强全局信息。实验结果中,有监督的成对数据集图像翻译和无监督的域间图像翻译相较于原模型和传统卷积-反卷积网络模型都有一定程度的提升。在客观FID指标中,改进后的有监督网络模型FID值比原模型降低了2.8%,改进后的无监督网络模型比原模型降低了2.17%。最后本文设计完善了目标人物数据集的制作流程,可以快速获取到网络模型训练的需要的人脸面部数据集。文中提出的图像翻译模型用于人脸图像的生成,同时对训练后模型剪枝操作,减小模型体积方便应用迁移,最后结合文中提出的实时处理单目视频中图像的方法,实现了单目相机中人面部实时图像翻译的应用场景。
其他文献
目的 探讨2型糖尿病(type 2 diabetes mellitus,T2DM)住院患者高同型半胱氨酸血症对早期肾脏疾病患病风险的影响。方法 本研究为回顾性研究。选取南京江北医院2020年10月至2022年6月收住的T2DM患者306例。根据糖尿病肾脏疾病(diabetic kidney disease,DKD)诊断标准分为单纯T2DM组(n=252)和早期DKD组(n=54),比较两组临床资料
期刊
高效开采页岩气可有效对常规能源的消耗进行补充和代替,对保障能源安全具有重要的战略意义。针对缺水地区黏土含量高的页岩气储层,学者提出了新型无水压裂技术-超临界CO2强化页岩气高效开采。利用课题组自主研发改进的超临界CO2压裂渗流试验平台,采用四川长宁龙马溪组露头页岩开展了考虑注入CO2流体排量、围压变化的超临界CO2压裂页岩试验研究以及强化页岩增透试验研究,取得如下结论:(1)通过页岩力学性质试验证
学位
近年来,随着基于地理社交网络(Location-based Social Networks,LBSNs)的兴起,序列兴趣点(Point-of-Interest,POI)推荐已成为现代日常生活中的重要组成部分。具体来说序列兴趣点推荐的实现按照以下流程进行,通过分析用户的历史兴趣点访问序列,挖掘其中的序列相关性,并对用户偏好进行建模,最终推荐一系列用户在未来有可能访问的兴趣点。随着自注意力网络(Sel
学位
在航空领域中,压气机是航空发动机的关键部件,压气机的性能会对发动机的推重比、耗油率等性能参数起决定性作用,而且对整机的稳定性和可靠性具也有重大影响。国内外航空发动机的研制经验表明,压气机性能的优劣直接影响到发动机研制的全局。最早的叶型气动性能测试都是通过叶栅试验吹风完成,试验能够获得的叶型成本较高,而数值仿真分析的方式存在计算量大、仿真周期长的缺点。因此,本文在综合考虑到国内外的研究情况以及所面临
学位
移动群智感知(Moblie Crowd Sensing,MCS)是一个物联网环境中一种新的计算模式,依靠大规模的普通用户通过携带的智能移动便携式设备来采集感知数据并返回至服务平台,服务平台通过对感知数据进行处理,最终完成大规模的、复杂的社会任务的过程。与传统传感器网络不同,移动群智感知有着覆盖范围大、感知精度高、灵活性强等诸多优势。而本文针对移动群智感知相关研究中的关键问题——任务分配进行了研究。
学位
由于盐岩优良的的蠕变特性、损伤及损伤后自我恢复特性使其成为理想的天然气储存场所。我国盐矿资源丰富,但普遍以层状为主,使得我国盐岩地下储气库在建造及运营过程中的安全保障问题更加复杂和重要,储气库运行时由于内压控制不当盐岩蠕变导致盐岩地下储库灾难性事故时有发生,因此为保证含夹层盐岩储气库长期注采过程的安全稳定,本文主要通过数值模拟计算方法研究注采作用下层状盐岩储气库稳定性。在此基础上,将可靠度方法运用
学位
为了研究不同生长时期草本植物根系影响边坡浅层稳定性规律,以海州矿为研究地点,通过现场调研,确定研究对象为紫花地丁、灰灰菜和狗尾草。培育草本植物,采用拉力计测量不同生长时期根的抗拉力,与此同时,采用游标卡尺及图片像素换算方法确定草本植物在不同生长时期的根面积比;通过修正后的WWM模型量化不同生长时期草本植物的根加固效果;建立边坡模型,将不同生长时期草本植物加固效果添加至边坡模型表层,采用极限平衡法,
学位
大数据时代,无论是数据量还是数据维度都在不断增加。如何在大量的数据中提取有效信息是一个至关重要的问题。特征选择是最有效的降维技术之一,它的目的是通过去除不相关和冗余特征,同时保留相关特征形成最优特征子集,对数据进行降维。根据数据中标签是否存在,特征选择算法可以分为有监督、无监督和半监督特征选择。有监督的特征选择算法中利用标签数据来衡量特征的分类能力。信息论理论可以有效度量随机变量之间的关系,所以研
学位
液压支架进行支护的过程中承载作用复杂,在顶梁承受扭转载荷及底座承受两端载荷作用的复合工况下液压支架的受力状态最为复杂,对其性能具有较高的要求。采用有限元仿真的形式对其应力分布进行分析,结果表明,在复合工况作用下,液压支架的最大应力位于顶梁的位置处,液压支架的整体应力满足工作强度的需求。
期刊
报纸