超分辨率重建(Super-Resolution,SR)算法是利用一张或多张的低分辨率图像(Low Resolution,LR)重建出一张高分辨率图像(High Resolution,HR)。超分辨率重建是计算机视觉领域中的一个热点问题,近年来基于深度学习的超分辨率重建方法取得了突破性进展,将超分辨性能提升到一个新的水平。然而,超分辨率重建是一个不适定问题,对于这样的问题,如何利用先验知识设定正则性约束建立优化模型是超分重建的关键问题,对于这样的问题,如何利用先验知识设定正则性约束建立优化模型是超分重建的关键问题。现有的深度学习方法还存在着以下不足:1.很少考虑利用图像先验信息对模型进行约束,导致模型收敛速度慢,得到的是局部次优解;2.现有的基于深度学习的网络,在对网络进行训练时,没有对训练数据进行有效性限制,另外,噪声数据存在,这两个因素都会造成模型偏离最优解。3.现有的基于深度学习的超分网络是针对单尺度的超分模型的,缺少对放大任意尺度的模型的讨论。本文主要针对这三个方面的不足进行算法改进,主要贡献如下:第一,提出基于联合正则化约束的耦合自编码超分辨率重建网络。现有的耦合自编码网络(CoupledDeepAuto-Encoder,CDA)虽然能够较好的学习LR图像到HR图像的关系,然而,由于CDA忽视了图像的局部相似性和结构相似性,限制了模型的表达能力。为了克服这个缺点,本文在CDA模型基础上增加正则性约束,进一步提升图像超分性能。首先,建立了基于非局部全变分约束、局部全变分约束和基于CDA拟合相似约束的超分辨率重建模型。然后,针对这一联合正则化约束模型,本文使用分裂的Bregman方法进行快速求解。实验表明,基于联合正则约束的超分辨重建能够提高图像的峰值信噪比和视觉效果。第二,提出主动采样和基于数据扩增深度网络训练方法。虽然正则化约束有效提升了模型的重建能力,然而这些正则化约束没有加入CDA网络的训练过程中。为了进一步提高网络表达能力,本文首先对原始的训练数据库进行增加,加入了库外数据库图像,对每一张图像进行旋转和缩放,扩充训练数据集;由于扩充的数据集非常大,本文提出了主动采样的方法,对这个训练库中的图像块进行采样,选择具有纹理特征,边缘细节的图像块进行保留,进一步调整本文的网络参数。实验表明,通过数据扩增和主动采样的训练模型无论是在客观的评价指标还是主观的视觉效果都优于原先的模型。第三,提出了基于多尺度一体化的SR重建方法,由于现有的算法是基于单尺度的,本文在原有的2倍放大模型基础上,通过加入2倍,3倍,4倍的训练集进行训练,得到一个多尺度超分辨率重建网络。本文使用不同组合放大尺度训练集作为对比实验,验证多尺度数据集对模型重建效果的影响。实验结果表明使用多尺度训练集训练网络能够提高网络在不同尺度下的重建效果。