论文部分内容阅读
超分辨率技术是通过处理一系列低分辨率图像得到清晰的高分辨率图像的一个过程,本质是利用图像本身的空间信息冗余和视频帧中相邻帧之间的时间信息冗余,恢复出高分辨率视频图像,用以获得更细腻的画质,提升人眼的视觉感受。视频图像传输的过程中为了节约带宽往往先对高清视频进行压缩编码,传输至接收端进行解码,但这种压缩后的恢复是有损的,恢复的图像会损失部分信息,将超分辨技术作为视频图像的后处理算法,可以提高视频质量,提升观感。目前的视频超分辨率技术研究进展十分迅速,但在如何充分融合时空信息、如何恢复真实而自然的纹理方面仍需要继续加以研究。本文主要研究日常视频在4倍分辨率恢复的基础上,如何提升视觉质量,得到较好的观感。首先,针对预处理模块,引入了语义分割网络,为预处理模块提供了更多的先验纹理信息。不同物体有不同的纹理,但如果相邻物体颜色十分相近的话,超分辨率网络可能会将其识别为一类,导致纹理恢复的不真实。因此本论文引入了语义分割的先验信息,使超分辨率网络恢复出更加真实的纹理,将超分辨率效果提升了0.59dB。其次,针对融合模块,引入了三维融合技术。普通的二维卷积虽然每一层的特征图可以得到不同的信息,但是每一层的卷积核的信息并不连通,并不能很好的融合视频本身的时序信息。加入三维融合技术后模型能更好的融合视频时序信息,将超分辨率效果提升了0.17dB。最后,针对重建模块,引入了通道注意力机制。虽然在特征提取的过程中,特征图可以达到很深,但并不是每一层特征图都一样的重要,引入了通道注意力机制以后,可以将更多的注意力放在对结果贡献更大的层中,从而能得到更好的效果。并针对一般通用的平均池化注意力通道存在信息不足的问题,又引入了最大池化作为信息补充,将视频超分辨率效果提升了0.42dB。在本文最后进行了实验对比,证明了本文对比以往的算法取得了更好的效果。