论文部分内容阅读
近年来,人脸图像补全技术成为了计算机视觉领域的研究重点之一,其中基于深度学习,特别是基于生成式对抗网络的人脸图像补全技术更是重中之重。神经网络能通过数据集中学习人脸的特征,并且从缺损人脸图像中未缺失的部分分析特征并且预测出缺失部分的内容,这使得基于生成式对抗网络的人脸补全模型能生成图片中未必存在的内容,让修复的效果更加逼真。在现实中,人脸图像缺失的内容往往是未缺失部分中不存在的。因此,基于生成式对抗网络的人脸图像补全模型则具有实用价值。针对现有的基于生成式对抗网络所存在的问题,本文从利用完整的图像空间依赖性提取人脸特征和补全不同姿态的非对称人脸这两个方面做进一步的研究工作,具体如下:生成网络对人脸图像的结构特征提取的完整与否直接影响图像补全模型的性能。然而,现有的大部分工作并没有充分利用空间依赖性来提取特征,这使得提取到的特征不够完整。在第三章中提出了一种利用双向像素长短时记忆(Long Short-term Memory Network,LSTM)的网络解决这一问题。具体来说,它由两个LSTM子网络组成,可以逐行或逐列同时扫描输入图像,因此提取的特征包含了行之间或列之间的依赖信息。通过这些特征的融合运算,得到完整的空间依赖信息。此外,解码器和鉴别器的参数被自动调整以适应所提出的双向像素LSTM。在Celeb A数据集中的对比实验表明,该模型的补全结果在峰值信噪比增益和结构相似性这两个指标上取得了最佳,这证明了该模型的有效性。现有的脸图像补全模型在面对多种姿态的非对称人脸图像时,无法得到令人满意的结果。针对这个问题,在第四章中提出了一种基于脸部关键点正则化的人脸图像补全模型。这个模型的核心是一个被重新设计过的关键点检测网络,可以对不同姿态的人脸图像进行精准且高效的关键点定位,并最后作为一个正则项结合到基于生成式对抗网络的补全模型中。在最后实验部分中,基于AFLW数据集和LFPW数据集的特征点检测网络的对比实验结果中表明了重新设计的特征点检测网络的有效性和高效性。然后,与已有的人脸图像补全模型的对比实验表明了这个模型的可行性。