论文部分内容阅读
近年来各种有关图像处理的研究得到了广泛的关注与发展,而在计算机图像研究领域中,图像转换作为重要的一项技术,许多图像处理相关的问题都可以归结到此类任务中,例如图像风格迁移、图像降噪、图像超分辨率解析等。图像转换旨在研究数据域之间的关系并解决如何将一个形态的图像转换成另一个形态,因此完成图像转换需要重点研究图像间的相似性和多样性两方面内容,相似性研究内容要求生成图像与输入图像的结构相似性,同时又要求生成图像与目标图像域样本的细节相似性,多样性研究内容要求在处理多模态输出或者输入情况下方法都具有很好的扩展性。现有的图像转换方法按照是否需要成对数据可以将这类方法分为监督方法和无监督方法,按照是否可以生成或者处理多种形态的图像分为单模态方法和多模态方法。成对的训练数据提供了目标图像用以指导数据生成,降低了研究内容中相似性要求的难度,然而成对的数据是很难获得的,因此相比于监督方法,无监督方法更具有普适性。相比于单模态方法,多模态方法具有更好的完备性,但是多模态方法在解决输出图像的多种模态方面更加复杂,最后多模态方法由于可以应用到多个图像转换任务,模型往往更加复杂,如何减少网络参数也是面临的问题之一。针对图像转换方法中无成对训练数据的情况,本文提出了一种基于生成式对抗学习的单模态图像转换方法。该方法借助生成对抗网络用于解决无监督图像转换问题以及提高生成图像质量,同时在生成图像和输入图像以及目标域图像的相似性研究内容下学习隐空间和数据空间的双向映射,引入了互信息机制和感知对抗损失用以指导图像生成。在草稿图生成照片、多个人脸属性转换和人脸修复任务上显示,本文提出的方法既保留了输入图像的关键表征,同时把部分表征转换成了另一形态。在多模态图像转换方法中,一方面针对多模态方法中一张图像可能对应多个输出,如何减少输出图像的不确定性的问题,本文提出了基于生成对抗网络的多模态图像转换方法。该方法采用一个额外的编码器用以生成风格向量,通过不同的风格向量指导图像生成,借助互信息机制、感知损失和循环一致性损失优化风格向量与图像生成,增加了模型的可扩展性。另一方面,针对多模态方法减少训练参数的问题,考虑多模态输入情况下这一问题的解决办法,在模型中为每一模态加入条件向量,结合变分自编码器与生成对抗网络,把推理网络与判别网络合二为一,本文方法通过这样的改进思路减少了训练参数,结构更加简洁,在实验结果中取得了良好的表现。