论文部分内容阅读
图像超分辨率任务(Super Resolution,SR)是一个将低分辨率(Low Resolution,LR)图像转化为高分辨率(High Resolution,HR)图像的技术,对于图像技术的应用如医疗影像、视频监控等具有重要意义。大多数基于深度学习技术的SR模型通过卷积神经网络计算出HR图像。在模型中,将分辨率放大的模块称为上采样结构。目前大部分SR模型采用后上采样方法,该方法将上采样结构置于模型末端,使模型的主要重心都偏离在图像的LR特征学习中,难以直接学习到图像的HR特征。渐进式上采样结构用于解决该问题,但是该结构在模型过大时容易出现计算瓶颈,限制了网络深度。此外,现有模型没有考虑LR特征与HR特征之间的相互依赖关系。这些问题导致输出的图像具有相对较多的噪声。现有研究为了追求图像真实性的提升而与GAN结构相结合,但是对于渐进式上采样这种多输出的结构,目前还没有SR模型同时对该结构输出的所有分辨率图像运用判别器网络,使得该结构难以在保持多分辨率图像输出的同时提升所有图像的感官质量。针对以上分析,本文对超分辨率的模型结构进行研究,具体研究工作如下:(1)本文对后上采样结构进行了改进,将其重构层的上采样模块改造为渐进式上采样结构,并提出模型BP-ELAPSRN。该模型具备了渐进式上采样结构的优点,同时减缓了该结构容易出现的计算瓶颈问题。然后,为了加强渐进式上采样结构中每一个分辨率特征之间的相互依赖性,该模型在所有上采样层中引入了反向投影(Back Projection,BP)机制,该机制通过计算高分辨率特征与低分辨率特征之间的残差并对自身作出反馈,能够不断优化上采样后的特征,进一步提高模型的性能。(2)本文引入GAN结构并提出模型BP-LAPGAN。该模型对判别器网络进行了改进,使其能够应用于渐进式上采样结构中所有分辨率的输出图像。此外,该模型通过多个分辨率图像的反馈能够进一步强化感知特征的学习能力。本文通过对比实验表明,BP-ELAPSRN和BP-LAPGAN与前沿的SR模型相比在性能与视觉感官上都有了有效提升。最后通过目标识别任务的实验表明,该模型能够有效地运用于其他的计算机视觉任务中,具有重要的研究意义。