论文部分内容阅读
随着深度学习的崛起,基于深度学习的图像风格转换模型得以快速发展并具有广泛的应用,又在生成网络模型生成对抗网络的促进下,基于生成对抗网络的图像风格转换模型能力又进一步提升。然而作为艺术创作的辅助工具还远远达不到要求,基于生成对抗网络的图像风格转换模型存在转换的图像质量不理想以及网络模型不稳定的问题。本文针对以上问题,对CycleGAN做出改进。CycleGAN是无监督的图像转换模型,虽然CycleGAN无需成对的数据集就可以进行训练,并可以快速风格化图像,但是模型本身还是遗存传统生成对抗网络的缺点,例如模式崩溃、训练不够稳定、图像风格化质量不高。本文针对模型做出两点改进,首先在判别器中引入谱归一化,谱归一化的作用是对卷积后的参数矩阵进行谱范数标准化,这样就使神经网络被限制在一个范围内,以达到对判别器施加1-lipschitz限制,从而使函数更加平滑。其次我们针对生成器也做出改进,在生成器中加入了新型的残差结构,新型残差结构通过对激活函数、卷积层以及归一化操作的合理搭配来达到优化信号传播,减小训练误差,并通过恒等映射以保证梯度平滑、网络稳定。最后通过一组消融实验以及四种不同艺术风格的数据结果对比验证了改进的模型算法的转换质量提高。转换的结果不仅在色彩及结构信息上继承了源域图像,图像转换结果在几个模型中最为稳定,并且没有机械化的纹理,更富有创造力。本文继续用改进的算法在动漫风格数据集上进行实验,可是动漫风格的转换图像缺乏动漫风格应有的清晰的线条以及鲜明的色彩,受注意力机制的启发,针对动漫风格设计了合适的注意力机制网络模型,该模型是通过捕捉源域图像的主要特征图像进行学习,接着使用风景数据集进行训练,通过预训练模型所得的转换图像不仅有清晰的线条和鲜明的色彩,图像的全局内容也更具动漫色彩,最后通过一组消融实验以及一组对比实验对算法模型进行验证。