论文部分内容阅读
生成式对抗网络(Generative Adversarial Networks,GAN)是深度学习中的热门研究方向,其研究成果日新月异,并且GAN与其他领域的交叉应用也越来越广泛。本文针对GAN生成图像质量较低以及梯度消失和模式崩溃等问题,在Wasserstein GAN(WGAN)的基础上进行了研究,并对循环生成式对抗网络(Cycle Consistent Generative Adversarial Network,CycleGAN)在图像局部风格迁移的应用做了进一步的研究。具体创新工作如下:(1)提出了基于差分的WGAN梯度惩罚算法(WGAN gradient penalty algorithm based on difference,WGAN-dgp)。WGAN-dgp算法是在WGAN的基础上,在真实数据分布和生成数据分布中各任取一点,连接两点,在此线段上求任意两点基于差分的梯度惩罚项,加入WGAN中的极大极小化损失函数中,使得梯度惩罚项的连续性约束更强。仿真实验结果表明该算法能够加速收敛,生成图像质量更好,同时具有更好的鲁棒性。(2)提出了基于双重对抗的CycleGAN算法,并将其应用在图像局部风格迁移中。针对传统的图像风格迁移算法在处理图像局部风格迁移的过程中容易导致图像整体的变化,因此在CycleGAN网络结构中加入抑制器网络,抑制图像的过度变化。图像经过生成器得到对应域的图片,再经过抑制器精细图片得到最终的图像。仿真实验结果表明该算法在图像局部风格迁移中能够使得转换为对应域的图像背景变化较少,且纹理更加清晰。(3)提出了基于差分的双重对抗CycleGAN梯度惩罚算法。将第三章提出的WGAN-dgp算法和第四章提出的基于双重对抗的CycleGAN算法结合,并且在生成器的网络结构中引入卷积注意力模块(Convolutional Block Attention Module,CBAM)。卷积注意力模块包含通道注意力模块和空间注意力模块。仿真实验结果表明该算法在图像局部风格迁移中产生的图片纹理更加清晰,生成图像分布和真实数据分布更加接近。