视频超分辨是将细节粗拙的低分辨率视频进行处理,获得对应的具备更好视觉质量和细节信息的高分辨率视频的技术。运动补偿是视频超分辨技术中一种常用的对低分辨视频帧进行处理的方法,其目的是更好地利用相邻视频帧中的相似区域,以获得更高的视频超分辨质量。如何对低分辨视频中相邻帧的信息进行有效的提取和利用,是视频超分辨技术的重点,也是国内外研究的热点。本论文针对该问题,借助深度学习和卷积神经网络,开展了如下工作:1.分析视频超分辨的主要技术路线和研究历史,查阅大量资料,结合近年来图像处理领域研究最为集中的卷积神经网络,提出了一种对视频中多个相邻帧进行特征提取和融合的多帧融合网络。通过设计一个多支路的卷积神经网络,对输入网络的低分辨视频相邻帧分别进行特征提取和融合,提高了超分辨视频的连贯性和质量。2.针对视频帧中常常同时存在大尺度物体和小尺度物体的特点,提出多尺度残差网络。该网络块可以增强视频超分辨网络对不同尺度物体的超分辨能力,实现超分辨网络总体性能的提高。3.针对常规视频超分辨方法在初始特征提取阶段进行单一的卷积操作,不能很好地对多尺度特征进行提取的问题,提出多分支的初始感知模块,增强超分辨神经网络对图像特征的初始提取能力。4.针对光流法对时间跨度较大的视频相邻帧不适用,存在较大误差,进而影响超分辨性能的现象,提出渐进运动补偿策略,有效降低运动补偿误差。5.针对卷积神经网络难以提取空间跨度较大的相似图像块信息的现象,在初始特征提取阶段引入非局部神经网络,实现高效的空间特征提取。6.针对传统卷积神经网络简单地将组成网络的构建块进行级联,使得模型多尺度映射能力差、感受野单一的情况,提出多尺度网络架构作为网络的基础构建形式,可以嵌入多种多样的构建块,在不改变构建块结构的情况下,赋予神经网络多尺度映射能力,进一步提高了视频超分辨网络的性能。综合上述技术,本文构建了一个端到端的卷积神经网络。实验表明,整体神经网络的视频超分辨性能达到当下的先进水平。