论文部分内容阅读
图像是人类社会重要的信息载体,发挥着无可替代的作用。然而,受成像条件的限制,成像系统获取的图像往往存在细节信息丢失、分辨率低等问题,从而无法满足不同应用领域对高质量图像的需求。超分辨重建技术旨在综合利用信号处理、统计学习、优化理论等工具,从同一场景的一幅或多幅低分辨图像重建出成像系统无法直接获取的高分辨图像。该技术对医学成像、遥感成像、视频监控等领域具有重要的应用价值,受到众多研究者的广泛关注和深入研究。
虽然近些年提出的基于学习超分辨重建方法不断提升重建的质量和效率,但高效地重建高保真度、高感知度的图像仍然是一项极具挑战性的任务。目前基于浅层学习的超分辨重建方法仍未能在模型复杂度、重建效率和重建质量之间做出较好平衡,而多数基于深度学习的超分辨重建方法忽略了相关先验信息和领域知识的融合,限制着模型的重建性能。鉴于此,本文基于级联结构及卷积神经网络,对单幅图像超分辨重建开展了深入研究,进而提出多种方法来有效提高重建质量和重建效率。本文主要研究内容概括如下:
1.提出一种基于级联线性回归的单幅图像超分辨重建方法。现有基于浅层学习的超分辨重建方法面临的问题一方面是应用复杂模型,虽能较好拟合低分辨空间至高分辨空间的非线性映射关系,但会导致较高计算复杂度和较低鲁棒性及泛化性;另一方面是应用简单模型,虽简单高效,但模型表征能力有限导致重建效果欠佳。针对该问题,同时考虑到图像局部具有近似线性结构,提出一种基于级联线性回归的简单、鲁棒、有效和快速的图像超分辨重建方法。该方法利用简单高效的线性回归模型缓解了复杂模型鲁棒性差、复杂度高的问题,同时结合级联结构和聚类运算以集成多个回归过程,增强了模型的表征及重建能力。实验结果表明,所提方法较其它方法能更好地平衡重建质量与重建效率。
2.提出一种基于多尺度信息交叉融合卷积神经网络的单幅图像超分辨重建方法。对于图像超分辨网络而言,其不同层级、不同尺度的特征均包含相关且互补的信息,因而融合多层级和多尺度的特征信息对重建性能的提升具有重要作用。然而,多数基于卷积神经网络的重建方法采用单分支结构,不利于多层级和多尺度特征的有效融合,从而制约了模型重建性能。针对上述不足,构建了基于多尺度信息交叉融合的超分辨网络。其中,构造的具有幂等特性的双分支结构,不仅能有效地融合多尺度特征的互补信息,还能促进信息在不同层级间的传播;采用的子网络级联结构,在有效降低大尺度超分辨重建难度的同时提高了重建效果;联合应用的残差学习、多级监督学习、集成学习及多尺度混合学习机制,有效地稳定了训练过程并实现了单模型在多上采样尺度上的超分辨重建。实验结果表明,所提方法能以较高重建效率而获得在主观和客观质量上都优于其它方法的重建结果。
3.提出一种基于双域注意力卷积神经网络的单幅图像超分辨重建方法。在深层卷积神经网络中,不同通道、不同空间位置和不同层级的特征所包含信息存在差异性,继而使得不同类型特征对细节重建具有不同的贡献度。然而,多数基于卷积神经网络的超分辨模型对于不同类型特征缺乏鉴别学习能力,导致了其有限的特征表示和细节重建能力。针对此问题,构建了基于双域注意力的超分辨网络。通过将注意力机制引入至多层级特征的通道域和空间域,实现了多层级特征的自适应调制,从而强化重要信息的作用而弱化冗余信息的影响,提高模型重建细节的能力;同时,利用密集连接结构和门控机制,实现了对多层级特征的融合和提炼,从而提高信息利用率并增强模型的信息保持能力。实验结果表明,所提方法能以适当数量的模型参数而获得高保真度和高感知度的重建结果。
4.提出一种基于非局部自相似卷积神经网络的单幅图像超分辨重建方法。图像结构的统计分析表明图像的局部结构具有跨尺度、非局部自相似特性,应用该特性将有助于获取非局部相关信息来提高超分辨重建准确度。然而,目前绝大多数基于深度学习的超分辨重建方法忽略了非局部自相似特性在扩大感受野、挖掘非局部相关信息等方面的作用。鉴于此,通过将图像跨尺度自相似先验与卷积神经网络深度融合,构建了基于非局部自相似的深层超分辨网络。该网络通过可训练的自相似匹配运算,有效地捕获多尺度特征的非局部相关信息;同时,利用级联的卷积运算高效地提取多层级特征的局部结构信息;并且,采用多级残差结构以促进非局部和局部信息的融合和传播,进而有效提高重建图像保真度。此外,考虑到训练样本所包含的信息存在差异性,研究了样本重加权机制以控制不同样本的贡献度,并将该机制与对抗学习机制结合来提高重建图像的感知质量。实验结果表明,所提方法能显著提高重建准确度和图像感知质量。
综上,本文通过模型的简化、有效架构的设计、多种学习机制的应用、领域知识和先验信息的融合等策略,提出了四种单幅图像超分辨重建算法,以提升重建效率及重建图像的保真度和感知度。理论分析和实验结果验证了本文所提方法的有效性和优越性。
虽然近些年提出的基于学习超分辨重建方法不断提升重建的质量和效率,但高效地重建高保真度、高感知度的图像仍然是一项极具挑战性的任务。目前基于浅层学习的超分辨重建方法仍未能在模型复杂度、重建效率和重建质量之间做出较好平衡,而多数基于深度学习的超分辨重建方法忽略了相关先验信息和领域知识的融合,限制着模型的重建性能。鉴于此,本文基于级联结构及卷积神经网络,对单幅图像超分辨重建开展了深入研究,进而提出多种方法来有效提高重建质量和重建效率。本文主要研究内容概括如下:
1.提出一种基于级联线性回归的单幅图像超分辨重建方法。现有基于浅层学习的超分辨重建方法面临的问题一方面是应用复杂模型,虽能较好拟合低分辨空间至高分辨空间的非线性映射关系,但会导致较高计算复杂度和较低鲁棒性及泛化性;另一方面是应用简单模型,虽简单高效,但模型表征能力有限导致重建效果欠佳。针对该问题,同时考虑到图像局部具有近似线性结构,提出一种基于级联线性回归的简单、鲁棒、有效和快速的图像超分辨重建方法。该方法利用简单高效的线性回归模型缓解了复杂模型鲁棒性差、复杂度高的问题,同时结合级联结构和聚类运算以集成多个回归过程,增强了模型的表征及重建能力。实验结果表明,所提方法较其它方法能更好地平衡重建质量与重建效率。
2.提出一种基于多尺度信息交叉融合卷积神经网络的单幅图像超分辨重建方法。对于图像超分辨网络而言,其不同层级、不同尺度的特征均包含相关且互补的信息,因而融合多层级和多尺度的特征信息对重建性能的提升具有重要作用。然而,多数基于卷积神经网络的重建方法采用单分支结构,不利于多层级和多尺度特征的有效融合,从而制约了模型重建性能。针对上述不足,构建了基于多尺度信息交叉融合的超分辨网络。其中,构造的具有幂等特性的双分支结构,不仅能有效地融合多尺度特征的互补信息,还能促进信息在不同层级间的传播;采用的子网络级联结构,在有效降低大尺度超分辨重建难度的同时提高了重建效果;联合应用的残差学习、多级监督学习、集成学习及多尺度混合学习机制,有效地稳定了训练过程并实现了单模型在多上采样尺度上的超分辨重建。实验结果表明,所提方法能以较高重建效率而获得在主观和客观质量上都优于其它方法的重建结果。
3.提出一种基于双域注意力卷积神经网络的单幅图像超分辨重建方法。在深层卷积神经网络中,不同通道、不同空间位置和不同层级的特征所包含信息存在差异性,继而使得不同类型特征对细节重建具有不同的贡献度。然而,多数基于卷积神经网络的超分辨模型对于不同类型特征缺乏鉴别学习能力,导致了其有限的特征表示和细节重建能力。针对此问题,构建了基于双域注意力的超分辨网络。通过将注意力机制引入至多层级特征的通道域和空间域,实现了多层级特征的自适应调制,从而强化重要信息的作用而弱化冗余信息的影响,提高模型重建细节的能力;同时,利用密集连接结构和门控机制,实现了对多层级特征的融合和提炼,从而提高信息利用率并增强模型的信息保持能力。实验结果表明,所提方法能以适当数量的模型参数而获得高保真度和高感知度的重建结果。
4.提出一种基于非局部自相似卷积神经网络的单幅图像超分辨重建方法。图像结构的统计分析表明图像的局部结构具有跨尺度、非局部自相似特性,应用该特性将有助于获取非局部相关信息来提高超分辨重建准确度。然而,目前绝大多数基于深度学习的超分辨重建方法忽略了非局部自相似特性在扩大感受野、挖掘非局部相关信息等方面的作用。鉴于此,通过将图像跨尺度自相似先验与卷积神经网络深度融合,构建了基于非局部自相似的深层超分辨网络。该网络通过可训练的自相似匹配运算,有效地捕获多尺度特征的非局部相关信息;同时,利用级联的卷积运算高效地提取多层级特征的局部结构信息;并且,采用多级残差结构以促进非局部和局部信息的融合和传播,进而有效提高重建图像保真度。此外,考虑到训练样本所包含的信息存在差异性,研究了样本重加权机制以控制不同样本的贡献度,并将该机制与对抗学习机制结合来提高重建图像的感知质量。实验结果表明,所提方法能显著提高重建准确度和图像感知质量。
综上,本文通过模型的简化、有效架构的设计、多种学习机制的应用、领域知识和先验信息的融合等策略,提出了四种单幅图像超分辨重建算法,以提升重建效率及重建图像的保真度和感知度。理论分析和实验结果验证了本文所提方法的有效性和优越性。