论文部分内容阅读
深度学习是许多智能产品发展一种趋势算法。深度学习本质上都是由数据驱动的,也就是训练模型需要足够多的数据才能拟合出准确的模型。数据的质量直接影响模型的好坏,这也决定了深度学习需要大量数据集进行学习、建模。传统数据增强是通过图像翻转,剪切图像及添加噪声等方法来增加数据多样性,缺点是整个数据增强过程是在已有的训练数据上进行的处理。图像处理和计算机视觉是生成式对抗网络(GAN,Generative adversarial network)重要研究领域。基于GAN的图像转换方法进行数据增强,可以生成带标签的新图像,也可以将已有风格的数据变换为其它的风格,用来扩大训练数据的规模。本文基于生成式对抗网络设计一种新的图像转换框架,进一步能够生成有效的高质量的数据。本文主要研究内容如下:基于GAN提出一种新的增强图像转换分辨率框架(ERGAN),ERGAN图像转换算法系统框架构建流程首先,利用了对抗机制和对偶学习(dual learning)的模型思想,设计对偶GANs(28)?GA N_A,GAN_B?,使得模型在无标注数据集能够实现无监督学习图像转换。其次,为了能够解决无成对输入图像和生成样本之间互相学习共有特征信息,因此引用重建一致损失函数约束条件,基于重建一致损失函数图像转换框架可以在给定不成对数据的情况下发现不同域之间特征关系。实验结果表明,本文基于以上方法设计图像转换框架基础上使用无标签和无成对数据集训练ERGAN网络,ERAGN框架可以实现图像转换同时通过生成器生成图像重建输入图像间接学习不同域之间特征信息关系。基于ERGAN图像转换框架中生成器网络研究,针对传统GAN生成器网络架构转换生成图像分辨率比较低,为了使生成器网络从输入图像中提取丰富信息特征且保留输入图像物体完整结构特征以此提高生成图像分辨率。本文提出的生成器网络是由编码器、残差网络(residual network)、及解码器组合而成。实验结果表明使用三种不成对数据集进行训练和测试模型,本文提出生成器网络与U-net与encoder-decoder相比,该网络生成图像平均指标PSNR/SSIM分别增加了7%/13%和18%/43%,并可以生成1024x1024高分辨率的图像。基于ERGAN图像转换框架中鉴别器网络训练稳定性研究。ERGAN图像转换框架中两个鉴别器网络是为了能够判别生成样本数据和输入真实图像之间相似度,鉴别器将会监督生成器生成更加逼真图像作为最终图像输出。目前经典图像转换算法在训练鉴别器时出现不稳定状况,导致生成器在训练过程中不再学习输入图像特征信息将会严重影响生成样本图像质量。因此,提出一种新的归一化方法:Stable Normalization(SN)作为ERGAN中鉴别器网络架构归一化层用来解决鉴别器不稳定性问题。实验结果表明,在鉴别器网络添加不同归一层进行实验,基于SN的鉴别器归一层生成的图像比其他归一层化方法具有更高的丰富性图像,生成图像PSNR/SSIM指标值达到27.26/0.7414。基于以上方法采用六种不同数据集训练和测试ERGAN算法。实验结果表明,本文提出ERGAN本图像转换结果与Pix2pixGAN、CycleGAN、DualGAN、CoGAN等图像转换算法相比,分别提高4.841dB/0.1934,0.81dB/0.0558,0.51dB/0.0638,1.18dB/0.0673,其中ERGAN算法生成图像平均PSNR/SSIM为27.28/0.7414。ERGAN不仅提高了图像转换结果质量,同时也实现了多种图像转换任务。