论文部分内容阅读
随着屏幕共享、视频会议、远程视频教育和云游戏等新兴应用的出现,对基于屏幕内容特定特征的视频编码策略提出了更高的要求。与摄像机拍摄的自然视频不同,屏幕内容视频通常包括计算机直接生成的文本、图表、图形和摄像机拍摄的自然视频区域。为了给屏幕内容视频提供实时、低延迟的传输,ITU-T视频编码专家组(VCEG)和MPEG动态图像专家组(MPEG)于2014年正式启动了基于HEVC(High Efficiency Video Coding)的屏幕内容编码扩展标准化进程,称作HEVC-SCC。考虑到原始HEVC-SCC编码框架中的关键编码技术:率失真优化和码率控制。它们都忽略了人眼视觉系统的感知特性,导致感知编码效率低。其次,它们还忽略了屏幕内容视频的内容特性,如有锐利的边缘以及帧与帧之间的内容不变和突变性等。针对上述问题,深入分析了人眼视觉感知特性与HEVC-SCC率失真优化模型的关系,并用以指导码率控制,达到根据视频内容自适应调整码率,从而提高屏幕内容视频感知编码效率的目的。主要工作包括以下三方面:首先,提出了基于感知特征的HEVC-SCC率失真优化算法。由于HEVC-SCC率失真优化模型中所有块的拉格朗日算子λ的取值都一样,忽略了视频内容的感知特性。因此,可以加入感知特性自适应地调节λ,使编码重建视频质量提高、编码码率降低。其中,感知特征的提取主要包括提取当前CTU的空域和时域特征。在空域方面,计算屏幕内容的梯度幅值信息作为空域特征描述子;在时域方面,结合梯度方向和梯度幅值信息,得到梯度相似值GS(Gradient Similarity)。将空域和时域特征进行加权融合得到新的感知特征,最后把所得到的感知特征加入HEVC-SCC率失真优化模型中,自适应地调节拉格朗日算子,合理地进行比特分配,有效的提高视频的感知质量和率失真优化性能。基于第一部分工作,利用所提取的时空感知特征在CTU级进行自适应的码率控制过程。而后根据R-?和?-QP模型确定量化参数以及参数更新。实验结果表明,在随机接入RA(Random Access)模式下,所提算法和原始HEVC-SCC算法相比,在略微降低误码率、节省码率开销的同时提高了视频的感知质量。针对屏幕内容视频中有大量文字图形区域、边缘锐利以及内容场景突变的特点,本文提出了一种屏幕内容视频自适应地感知码率控制算法。主要是利用最新的屏幕图像质量评价方法GFM(Gabor Feature-based Model)来获得空域感知特征模型。另外利用结构相似性构建时域特征感知模型来判断当前块的类型。然后将时空域的感知特征进行加权融合得到我们最终的感知特征,并利用所得感知特征在CTU级对屏幕内容视频进行合理的比特分配以及参数更新过程。从实验结果可以看出,在两种编码结构下所提算法都能有效降低误码率、提高视频的质量以及有更好的率失真性能。