论文部分内容阅读
图像超分辨率重建(Super-Resolution Image Reconstruction,SRIR 或 SR)是计算机视觉(ComputerVision)和图像处理(Image Processing)的重要分支之一,具有极为广泛的应用价值。传统的图像超分辨率重建方法存在算法效率低、细节模糊丢失、重建图像质量差等问题,已无法满足人类对于高质量图像的要求。基于深度学习的方法在重建高分辨率图像领域比传统方法更加高效,恢复图像的质量更高。但是,基于深度学习的重建方法仍然存在网络模型不稳定、高频信息处理模糊等问题。近年来,基于生成对抗网络的图像超分辨率算法取得了良好的重建效果。本文对生成对抗网络进行了深入研究,提出了两种改进的生成对抗网络的图像超分辨率方法。本文的主要内容如下:(1)首先概述了图像超分辨率重建的研究背景,以及传统的图像超分辨重建技术的理论基础,包括基于插值、基于重建和基于学习的方法,并对比分析了这些方法的优势以及弊端。其次,综述一些已有的基于深度学习的图像超分辨率重建方法,着重介绍了基于生成对抗网络的重建方法。(2)提出了基于SRGAN模型的改进方法——SRCGAN(Super Resolution Conditional Adversarial Nets)。①针对SRGAN网络在生成图像时具有随机性问题,引入条件类,提出了 SRCGAN模型,解决了在图像生成过程中随机处理的缺陷,指导了网络训练的过程,提高了算法的效率和重建图像的质量。②对生成网络部分进行了残差块的改进,将批归一化层去除,并对网络的卷积层和残差块参数进行了调整,解决了如色彩归一化、原图像的空间表征被破坏等问题。③对判别网络引入PatchGAN的思想,减少了运算参数,在同等计算资源下设计更深的网络以获取更多细节特征,改进了SRGAN网络对于图像细节复杂的图像重建模糊的问题。基于SRCGAN模型做了两个实验:①使用Set5和Set14数据集为测试集,从主观和客观两个角度验证了改进模型重建图像细节的质量;②使用Minist数据集进一步验证SRCGAN模型重建图像的质量。实验结果表明,本文提出的改进模型有效提高了图像重建质量。(3)提出了基于多尺度GAN的图像超分辨率重建算法。针对SRGAN在重建细节丰富的图像时存在细节丢失或者模糊等问题,融合拉普拉斯金字塔思想,通过分阶段重建完成多尺度重建图像的任务,并将判别网络融合PatchGAN的思想,有效提高图像细节的恢复效果,提高图像的重建质量。使用Set5、Set14、BSD100和Urban100数据集为测试集,从客观和主观评价指标进行实验分析,有效验证了本文提出的改进算法的性能。