论文部分内容阅读
图像超分辨重建是一种提高图像分辨率、恢复图像细节信息的数字图像处理技术,在医学图像处理、遥感成像、视频监控等领域有着重要应用价值。随着深度学习与大数据分析技术的发展,卷积神经网络越来越多地应用于数字图像处理。图像超分辨重建目的是学习图像中的高分辨率细节,卷积神经网络具备学习细节特征的能力。论文以卷积神经网络在图像超分辨重建的应用为目标,研究SRResNet网络中的残差模块,构建了两种针对图像超分辨重建的深度残差网络。论文主要工作如下:本文首先回顾了卷积神经网络和深度残差网络的相关知识。重点介绍了卷积神经网络的结构、激活函数、损失函数、反向传播算法及其变种;详细介绍了深度残差网络的网络结构和批规范化(Batch Normalization,BN)。然后,本文对SRResNet网络中的残差模块进行分析并作出改进,去掉残差模块中的批规范化得到增强型残差模块,基于增强型残差模块构建了一个深度为35层的增强型深度残差网络。为了进一步提升网络训练速度,论文在增强型深度残差网络最后一层添加子像素卷积层。不同于已有超分辨重建网络将双三次插值(Bicubic interpolation)后的低分辨率图像作为网络输入,论文提出的联合子像素卷积层的增强型深度残差网络直接将低分辨率图像作为网络输入,最后在子像素卷积层进行上采样操作重建出高分辨率输出图像。针对放大倍数较大图像细节信息难以重建的问题,论文将感知损失加入到网络损失函数中,提出了一种新的网络结构PLCNN。PLCNN将预训练好的VGG-16网络作为损失网络获取感知损失,并将其加入到网络损失函数中用于训练模型。与仅将L1损失作为损失函数的网络相比,PLCNN能够学习到真实图像语义上的信息。论文分别选取了Yang等人提出的91张图像和DIV2K数据集作为网络训练集,在公共数据集Set5、Set14、BSD100上比较了两个训练集的重建结果。另外,本文对联合子像素卷积层的增强型深度残差网络进行了实时性分析并绘制了网络损失曲线图。在公共数据集上的重建结果验证了联合子像素卷积层的增强型深度残差网络在重建图像细节上的有效性。针对PLCNN网络,本文设计了放大倍数是4倍时,与bicubic、SRCNN和L1损失网络的对比试验,虽然PSNR/SSIM指标略低一些,但PLCNN获得了更令人满意的视觉效果。这也说明了PSNR/SSIM作为客观性指标与人眼视觉机制相关性较弱。