论文部分内容阅读
随着科技的发展与进步,图像作为视觉信息的主要载体受到了人们越来越多的关注,人们对图像质量也提出了越来越高的要求。在不改变现有图像采集系统的前提下,使用数字图像处理技术提升空间分辨率的图像超分辨率重建技术越来越受到国内外学者的关注。图像超分辨重建算法是从已知的低分辨率图像中恢复出高质量、细节丰富的高分辨率图像,它的主要任务是如何重建那些在观测过程中丢失的高频细节信息。高分辨率的图像内容丰富,能为目标识别、检测等其他计算机视觉问题提供更多的有用信息,在医学影像、遥感图像、监控、公共安全等领域有着十分重要的应用,因此得到了日益广泛的研究。基于学习的方法通过机器学习算法从大量图像样本中学习得到低分辨率图像和高分辨率图像之间的映射函数关系,并利用该映射函数关系,来得到重建图像所需的高频细节信息。该方法取得了优异的效果,逐渐成为该领域研究的热点,因此本文着重研究基于学习的图像超分辨图像重建算法。(1)利用深度卷积神经网络来实现图像超分辨算法,针对现有的基于卷积神经网络的超分辨算法无法进一步补充更多细节信息的问题,因此本文提出了一种结合图像多尺度自相似性和深度卷积神经网络的图像超分辨算法,利用图像中存在的大量重复区域对待重建区域进行细节补充,重建出细节丰富、视觉良好的高分辨率图像。(2)基于图像的多尺度自相似性,本文对每一个待重建的图像块在整幅图像中寻找可用于重建细节的相似图像块,这些相似图像块不仅包含具有平移变换的相似图像块,还包含那些具有尺度、旋转变换的相似图像块。接下来就是将这些相似图像块有效融合在一起,本文采用空间变换网络层对这些相似图像块进行空间变换,充分利用了图像中的相似互补信息,最终获得的重建图像细节信息更加丰富。(3)本文使用可学习的反卷积层代替双三次插值核函数对图像进行放大,并作为高分辨率图像的初始估计。然后采用多层卷积层来提取图像的细节特征,并使用金字塔模型根据输入的低分辨率图像来逐步预测重建图像中所需要的高频细节信息,采用从粗到细的逐步放大模式,从而重建出最终的高分辨率图像。在本文中,通过大量实验证明了提出的结合自相似性和深度卷积金字塔神经网络的图像超分辨算法的有效性,并且在客观评价指标(PSNR,SSIM)取得了较好的结果,在主观评价方面该算法重建的图像细节丰富,视觉效果良好。