论文部分内容阅读
近年来,许多学者提出了基于卷积神经网络的图像超分辨率算法解决了传统图像超分辨率重建算法计算复杂等问题,但对细节比较丰富的图像存在重建能力差,视觉效果差的问题。为解决以上问题,本文深入研究基于深度学习的图像超分辨率算法的优化方法。具体工作如下:(1)在经典超分辨率重建算法SRRes Net和EDSR的网络基础上进行优化,其中,SRRes Net由Ledig[47]等将Res Net[44]模型经过改进用于图像超分辨率任务中而提出,EDSR[48]则是Bee Lim等在SRRes Net模型基础上进行改进的超分辨率模型,EDSR针对SRResnet进行改进,删除了批规范层、将网络损失函数由均方误差损失改为平方误差损失,减少网络参数,扩大网络规模获得更好的重建结果。SRRes Net和EDSR虽然取得了不错的重建效果,但仍有一定的改进空间。一是与SRRes Net和EDSR的单层网络相比,多层次的残差网络可以提取不同层次的高频残差特征来逼近真实高分辨率图像,完成图像的超分辨率重建。二是针对重建图像细节不够丰富的问题,引入了注意力机制使每个残差块生成特征图获得相应的权重,以指示该层特征在超分辨率重建任务中的重要性,以便网络可以恢复更详细的图像。因此本文将在SRRes Net网络基础上引入注意力模型,并将单层网络改进为多层次网络,同时借鉴EDSR提出的删除批规范层以及更改损失函数等优化措施对网络进行训练,提出基于注意力机制的多层次残差网络。(2)在经典超分辨率重建算法SRGAN的网络基础上进行优化,SRGAN是一种更加符合主观视觉效果的网络模型,其生成的图像具有逼真的视觉效果。但生成对抗网络存在着训练困难、生成网络和判别网络的损失函数无法指示训练进程的问题。针对GAN网络训练困难的问题先后提出了WGAN[53]和WGAN-GP[54]解决了上述问题。本文将在SRGAN模型的基础上分别优化生成模型和判别模型,其中,生成模型的优化为将SRGAN使用的SRRes Net改为改进残差网络,同时为了缓解GAN网络训练不稳定的问题,判别模型则在GAN、WGAN和WGAN-GP的判别模型中进行比较和选择,以便提升网络训练稳定性,构建优化的生成对抗网络的图像超分辨率模型。为了评判改进的超分辨率重建算法与原算法的重建性能,本文使用在图像评价领域广泛使用的峰值信噪比PSNR和结构相似度SSIM对基于多层次注意力残差网络和改进的生成对抗网络重建的图像进行评价,并在通用数据集Set5、Set14、BSD100、Urban00上进行了重建性能测试,与主流的超分辨率重建模型SRRes Net、EDSR、SRGAN进行了对比试验,评价指标结果表明改进的残差网络的图像超分辨率重建算法对细节更丰富,分辨率更高的图像的重建效果更好,而改进的残差网络重建算法和WGAN结合的生成对抗网络重建算法则对分辨率较低的图像重建效果更好。