论文部分内容阅读
图像是数字信息化时代重要的信息传递的载体。然而,受限于图像采集设备的成本、成像模态本身的技术瓶颈以及信息传输条件,人们在现实生活中所采集的图像通常分辨率较低且模糊不清,较差的成像质量制约了后续的信息提取,也无法满足人们的视觉感官需求。图像超分辨率(Image Super-Resolution,ISR)重建技术旨在从一幅或多幅低分辨率(Low-Resolution,LR)图像中重建出成像设备无法直接获取的高分辨率(High-Resolution,HR)图像。图像超分辨率重建技术无需更新成像设备的硬件就可以提高图像的清晰度,因而其有着广泛的应用场景,如视频监控、卫星图像处理以及医学成像等。虽然近些年基于深度学习的图像超分辨率算法研究取得了不错的进展,但是这些算法在应用于真实应用场景时仍然存在很多挑战性的问题,诸如任意缩放因子的图像超分辨率问题、缺乏能自适应处理多种退化因子的高效图像超分辨率算法以及图像超分辨率算法性能与效率的平衡性问题。本文面向图像超分辨率在真实应用场景中的挑战性问题进行了深入分析,利用元学习、动态卷积和多分辨率融合等方法,提出了一系列针对性的自适应图像超分辨率算法。本文的研究内容和主要贡献可以概括如下:1)提出了面向任意缩放因子的图像超分辨率元学习算法。现有的图像超分辨率算法只能进行个别整数倍数的放大,而在实际应用场景中,人们迫切需要的是能缩放很多个不同倍数的图像超分辨率算法。针对这一问题,本文首次提出了基于元学习的面向任意缩放因子的超分辨率网络Meta-SR。该方法提出了位置投影映射算法来解决非整数倍数的LR-HR图像对之间的空间映射问题,从而基于卷积实现了非整数缩放因子的图像超分辨率任务;然后基于元学习设计了一个权重预测子网络来自适应地为每个缩放因子预测一组对应的放大滤波器参数。Meta-SR仅需要训练一个模型就能同时高效地解决很多个缩放因子的图像超分辨率问题。实验结果表明,该方法取得的性能远高于基于插值的任意缩放因子的图像超分辨率算法。2)提出了面向多种退化因子的图像超分辨率元学习算法。当前的图像超分辨率模型都是基于单一的、固定的退化假设所训练得到的,因此需要设计一个统一的图像超分辨率框架来应对真实应用场景中可能存在的多种多样退化情况。本文提出了一个基于元学习的元复原模块,该模块为不同组合的退化因子(模糊核和噪声参数)自适应地预测一组对应滤波器的权重。同时元复原模块被放置于网络的末端,首次尝试了后置输入退化信息,这种后置的复原模块能够更加高效地应对基于迭代估计退化因子的图像超分辨率问题。除此之外,本文还分析了该算法对不准确模糊核估计的鲁棒性。大量定性和定量的实验结果表明了所提出方法的优越性。3)提出了基于动态卷积和多分辨率融合的轻量级图像超分辨率算法。目前的轻量级图像超分辨率模型感受野普遍较小,导致模型捕捉上下文信息的能力有限。同时严格控制计算量的轻量级模型一般参数量也偏小,限制了模型的学习能力和表达能力。本文针对轻量级图像超分辨率模型的上述问题,提出了基于动态卷积和多分辨率融合的轻量级图像超分辨率重建方法。该方法中的多分辨率融合网络通过使用下采样操作来增大了网络的感受野,并学习到了涵盖空间信息和上下文语义信息的层次化特征;同时下采样操作降低了特征分辨率,从而在小分辨率特征上可以使用更多的参数进行学习;最后,提出了一个基于动态卷积的基础模块,能够在几乎不增加模型计算量的同时增加网络参数量,从而进一步提升了模型的表达能力。所提出的方法在多个数据库以及不同设定下均取得最佳的性能,实验结果表明该方法大大缩小了与大型复杂模型之间的性能差距。