论文部分内容阅读
近年来,随着信息技术和多媒体技术的飞速发展,图像成为人们生活中信息传播的重要媒介之一,同时人们对图像分辨率的要求也越来越高,传统的低分辨率图像的画质已无法满足当今人们的需求。现阶段,由于图像空间分辨率的提高受到成像系统传感器密度和尺寸的限制以及网络传输介质、图像退化模型本身等诸多因素的约束,同时目标运动、光照及信号采集和处理过程中的其他干扰会导致图像分辨率下降。因此,在原有系统硬件不改变的情况下,采用基于计算机软件与图像处理算法相结合的超分辨率重建技术,成为解决上述问题的主要手段。超分辨率重建技术旨在将给定的具有粗糙细节的低分辨率图像转换为具有更好视觉质量和高频细节相对应的高分辨率图像,高分辨率图像能为许多场景的组成对象提供了重要的高频细节信息,因此对其进行深入研究具有重要的理论意义和应用价值。随着人工智能和计算机硬件的不断发展,神经网络在计算机视觉和图像处理方面取得了显著的成功。基于深度学习的图像超分辨率重建方法是通过大量的样本数据集对网络模型进行训练,学习复杂的特征提取方法,寻找高低分辨率图像之间的映射函数关系,最后重建出高分辨率图像。本文主要研究生成对抗网络在图像超分辨率领域的优化改进方法,提出了双判别器生成对抗网络图像超分辨率重建方法和基于CycleGAN的盲图像超分辨率重建方法。本文主要研究内容和工作如下:1.简要介绍了图像超分辨率重建的研究背景及意义,并对国内外在深度学习技术和图像超分辨率重建技术领域的研究现状进行了概括性的总结;简要介绍了图像降质模型,对基于插值、基于重构和基于学习的三类图像超分辨率算法进行了简要分析。2.提出双判别器生成对抗网络图像超分辨率重建算法。生成对抗训练作为一种全新的训练方式,由于生成过程过于自由不可控、网络训练过程中模型的收敛和稳定性难以保证,容易发生模式崩塌,进而出现无法继续训练的情况,本文进一步研究生成对抗网络算法并对网络架构及目标函数进行改进。在整体网络架构中,在生成对抗网络的基础上增加了一个判别器,将Kullback-Leibler(KL)和反向KL散度组合成一个统一的目标函数来训练两个判别器,并利用这两种散度的互补统计特性,分散多模式下的预估计密度,从而避免了重建过程中网络模型的模式崩溃问题,提高了模型训练的稳定性。3.提出基于CycleGAN的盲图像超分辨率重建方法。大多数现有的先进图像超分辨率重建方法通常假设下采样模糊内核是已知的,如通过使用固定的双三次模糊内核对高分辨率彩色图像进行下采样来生成成对的训练数据样本以及测试数据样本,但在实际应用中图像涉及的模糊内核通常是复杂的,以这种方式生成的低分辨率图像与真实捕获的图像不相似。本文将CycleGAN模型用于盲图像超分辨率任务,利用CycleGAN循环一致性的特性,使用降质LR图像和HR图像组成不成对的训练集对提出的网络进行训练,实验结果表明本章节提出的方法与双三次插值下采样方法对比,该方法下采样的降质图像更接近真实低分辨率图像,重建结果与众多经典方法对比,该方法可以更清晰地重建出图像的高频边缘细节纹理信息。