论文部分内容阅读
随着信息技术尤其是社交网络的发展,人们对不同风格人脸图像的需求越来越多。消费者经常希望将现实拍摄到的人脸图像同素描风格人脸图像或卡通风格人脸图像进行转换。因此,研究人脸图像风格自动转换技术具有重要的理论意义和应用价值。本文通过设计不同的神经网络结构以解决目前传统方法存在的视觉效果不理想以及识别精度不高的问题。 本文首先介绍了基于全卷积网络的人脸素描图合成方法,并且针对该方法使用的基于像素级损失存在的问题,对网络结构进行了改进,提出了生成-描述网络结构。该网络结构使用生成网络来进行图像的转换,并且使用描述网络来在图像特征上定义感知损失。定性的实验评估表明,该方法能够显著锐化图像的轮廓。在此基础上,针对实验评估中发现的面部五官部分细节缺失的问题,提出了两个细节增强算法:颜色直方图匹配和亮度迁移。它们分别将真实素描图的颜色分布和亮度分布转移到人脸图像和合成出来的素描图像上,从而有效地解决面部五官细节在合成上缺失阴影的问题。此外,本文使用了一种特殊的卷积神经网络————散射卷积网络来作为描述网络提取图像的特征。散射卷积网络通过不断级联小波滤波和求模算子来分层提取图像的特征。实验表明该方法合成出来的素描图轮廓清晰,面部五官细节完整,同时识别精度也有提升。 除了人脸素描图转换外,我们还在人脸卡通素描图转换和图像简笔素描画转换上进行了探究。尽管人脸卡通素描图数据库和图像简笔素描画数据库都分别存在着成对的训练样本,但是因为卡通图本身就是对原始人脸图像的一种夸张与变形,而简笔画又是一种利用简单的点、线等绘画要素来表现图像基本特征的绘画形式,这在一定程度上会削弱监督性。针对这一问题,我们创新性地将这两个数据库应用在了循环一致对抗网络(cycleGAN)上。通过GAN损失和循环一致损失来刻画损失函数,从而稳定地学习到图像之间的转化关系。此外,我们还将感知损失再一次应用在这个网络框架下。实验结果表明该方法能够在原始的合成结果的基础上取得进一步的视觉效果提升。最终,我们将本文提出的方法与当前效果较好的其他方法进行对比,归纳出了各个方法的适用情况和优缺点等结论,并针对cycleGAN结构的改进安排下一步的研究工作。