基于生成式对抗网络的人脸图像补全研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:senkooqian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,人脸图像补全技术成为了计算机视觉领域的研究重点之一,其中基于深度学习,特别是基于生成式对抗网络的人脸图像补全技术更是重中之重。神经网络能通过数据集中学习人脸的特征,并且从缺损人脸图像中未缺失的部分分析特征并且预测出缺失部分的内容,这使得基于生成式对抗网络的人脸补全模型能生成图片中未必存在的内容,让修复的效果更加逼真。在现实中,人脸图像缺失的内容往往是未缺失部分中不存在的。因此,基于生成式对抗网络的人脸图像补全模型则具有实用价值。针对现有的基于生成式对抗网络所存在的问题,本文从利用完整的图像空间依赖性提取人脸特征和补全不同姿态的非对称人脸这两个方面做进一步的研究工作,具体如下:生成网络对人脸图像的结构特征提取的完整与否直接影响图像补全模型的性能。然而,现有的大部分工作并没有充分利用空间依赖性来提取特征,这使得提取到的特征不够完整。在第三章中提出了一种利用双向像素长短时记忆(Long Short-term Memory Network,LSTM)的网络解决这一问题。具体来说,它由两个LSTM子网络组成,可以逐行或逐列同时扫描输入图像,因此提取的特征包含了行之间或列之间的依赖信息。通过这些特征的融合运算,得到完整的空间依赖信息。此外,解码器和鉴别器的参数被自动调整以适应所提出的双向像素LSTM。在Celeb A数据集中的对比实验表明,该模型的补全结果在峰值信噪比增益和结构相似性这两个指标上取得了最佳,这证明了该模型的有效性。现有的脸图像补全模型在面对多种姿态的非对称人脸图像时,无法得到令人满意的结果。针对这个问题,在第四章中提出了一种基于脸部关键点正则化的人脸图像补全模型。这个模型的核心是一个被重新设计过的关键点检测网络,可以对不同姿态的人脸图像进行精准且高效的关键点定位,并最后作为一个正则项结合到基于生成式对抗网络的补全模型中。在最后实验部分中,基于AFLW数据集和LFPW数据集的特征点检测网络的对比实验结果中表明了重新设计的特征点检测网络的有效性和高效性。然后,与已有的人脸图像补全模型的对比实验表明了这个模型的可行性。
其他文献
网络游戏直播作为一个新兴产业,一直以来并未得到学界的重视。直到2015年的“耀宇诉斗鱼”案的出现,才使得游戏直播这一特殊多媒体传播方式开始引起人们关注,此后开始有学者
通过对核反应堆功率分布的实时监测,可以更好地保证核电站运行的安全性和经济性。对于第二代压水堆来说,堆内测量系统只能通过部分组件内的定期测量重构堆芯功率分布,无法实
动态场景下,动态参与者会打破传统VSLAM(Visual Simultaneous Localization And Mapping)算法的静态假设,常见的作法是把动态参与者剔除,只将静态参与者作为相机位姿估计的参
深度学习的高速发展,引起了众多研究学者的关注,而文字作为人类相互交流获取信息最直接表达方式,在我们日常生活中缺一不可。由于藏族区域信息科技发展比较缓慢,藏文的检测与
目的探讨儿童先天性白内障术后视功能恢复效果及其主要影响因素,为先天性白内障的手术干预时机及术后光学矫正方式提供临床指导。方法本研究回顾分析了2003年1月~2015年6月期
在我国近几年的经济发展数据中可以发现,国内非公有制类型的生产企业所占比重呈现出逐年递增的态势。我们有理由认为,在非公企业内部全面提高生产经营效率的同时,为了能够使
火电厂原煤仓的堵塞问题是行业难题,仓内料量监控是及时发现堵塞现象的关键。现有仓内料位的接触式测量存在精度不足的缺陷,而非接触激光测距成本高不易推广。另外,原煤仓具
现如今,多媒体信息交流发展蓬勃,4G网络的应用也越来越普遍,同时5G通信技术也即将到来。视频这种信息交流中重要的传输媒介引起了广泛的重视。作为时下较为流行的一种视频编解码标准,H.264/AVC标准具有压缩比高、视频质量更好的优点。但正是因为H.264标准具有高的压缩比,在传输过程中如若发生传输错误,极易导致视频码流无法正确解码,因此差错掩盖在控制视频传输中的错误方面起着至关重要的作用。本文主要研
随着新型大规模数据中心的建立和发展,如何根据这些数据中心网络的新特征提升传输性能成为了产业界和研究界的新热点。网络传输最主要的目标是提升网络吞吐量和减小传输延迟
目的:分析青少年儿童黄斑前膜手术前后最佳矫正视力改变情况,同时应用微视野计评价术后黄斑区注视特点,并将其与术后最佳矫正视力进行相关性分析。方法:回顾性研究。研究对象