基于视觉感知的屏幕内容视频编码优化算法研究

来源 :华侨大学 | 被引量 : 0次 | 上传用户:yzahnig621
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着屏幕共享、视频会议、远程视频教育和云游戏等新兴应用的出现,对基于屏幕内容特定特征的视频编码策略提出了更高的要求。与摄像机拍摄的自然视频不同,屏幕内容视频通常包括计算机直接生成的文本、图表、图形和摄像机拍摄的自然视频区域。为了给屏幕内容视频提供实时、低延迟的传输,ITU-T视频编码专家组(VCEG)和MPEG动态图像专家组(MPEG)于2014年正式启动了基于HEVC(High Efficiency Video Coding)的屏幕内容编码扩展标准化进程,称作HEVC-SCC。考虑到原始HEVC-SCC编码框架中的关键编码技术:率失真优化和码率控制。它们都忽略了人眼视觉系统的感知特性,导致感知编码效率低。其次,它们还忽略了屏幕内容视频的内容特性,如有锐利的边缘以及帧与帧之间的内容不变和突变性等。针对上述问题,深入分析了人眼视觉感知特性与HEVC-SCC率失真优化模型的关系,并用以指导码率控制,达到根据视频内容自适应调整码率,从而提高屏幕内容视频感知编码效率的目的。主要工作包括以下三方面:首先,提出了基于感知特征的HEVC-SCC率失真优化算法。由于HEVC-SCC率失真优化模型中所有块的拉格朗日算子λ的取值都一样,忽略了视频内容的感知特性。因此,可以加入感知特性自适应地调节λ,使编码重建视频质量提高、编码码率降低。其中,感知特征的提取主要包括提取当前CTU的空域和时域特征。在空域方面,计算屏幕内容的梯度幅值信息作为空域特征描述子;在时域方面,结合梯度方向和梯度幅值信息,得到梯度相似值GS(Gradient Similarity)。将空域和时域特征进行加权融合得到新的感知特征,最后把所得到的感知特征加入HEVC-SCC率失真优化模型中,自适应地调节拉格朗日算子,合理地进行比特分配,有效的提高视频的感知质量和率失真优化性能。基于第一部分工作,利用所提取的时空感知特征在CTU级进行自适应的码率控制过程。而后根据R-?和?-QP模型确定量化参数以及参数更新。实验结果表明,在随机接入RA(Random Access)模式下,所提算法和原始HEVC-SCC算法相比,在略微降低误码率、节省码率开销的同时提高了视频的感知质量。针对屏幕内容视频中有大量文字图形区域、边缘锐利以及内容场景突变的特点,本文提出了一种屏幕内容视频自适应地感知码率控制算法。主要是利用最新的屏幕图像质量评价方法GFM(Gabor Feature-based Model)来获得空域感知特征模型。另外利用结构相似性构建时域特征感知模型来判断当前块的类型。然后将时空域的感知特征进行加权融合得到我们最终的感知特征,并利用所得感知特征在CTU级对屏幕内容视频进行合理的比特分配以及参数更新过程。从实验结果可以看出,在两种编码结构下所提算法都能有效降低误码率、提高视频的质量以及有更好的率失真性能。
其他文献
病理诊断是肿瘤诊断的“金标准”,然而,专业的病理科医师需要花费大量的时间在观察尺寸巨大的病理切片上,依据专业知识人为诊断肿瘤的类型和分级。现今,病理切片的制作在逐渐
近段时间以来,软测量技术已成为发展的一个重点。它收到高度青睐的原因是因为现代工业的复杂性增加了,并且随之而来是它对控制系统提出了更高的要求。软测量最大的优势就是解
机载高清语音通信(Voice over LTE,VoLTE)是指在地空无线通信系统机舱内通过LTE承载的高清语音通信,相比其他语音解决方案,VoLTE的通话质量大幅提升,呼叫连续时延大幅缩短,且
苯并(a)芘作为致癌性极强的持久性有机污染物,广泛分布在环境中,并随着降雨、工业废水、船舶漏油等途径进入水环境中,使水体中苯并(a)芘污染日益加重,从而引起广泛关注。本文选取
随着人工智能的飞速发展,自动化、智能化的交警手势识别技术的实现成为了可能,越来越多研究者投入到了交警手势识别的研究中。然而除了肢体运动的数据量的庞大外,图像帧之间
随着人工智能技术及其应用的不断发展,神经网络算法只需要通过大量的数据以及性能卓越的硬件设备,就可以使计算机模拟人类的行为,并且应用在生活的方方面面,使人类可以更加高
航空运输业的迅猛发展,使得乘坐民航客机出行的人数逐渐增加。但民航不文明旅客在机场、机上对执勤人员和航空器产生的违规行为影响了航空安全,各国民航行业纷纷建立了不文明
随着工业化和城市化进程的持续推进,产生了一系列的环境污染问题,阻碍了我国城市化可持续发展。有必要研究和揭示生态环境污染问题的空间分布和规律。其中,近年来PM2.5污染进
近年来,深度学习技术在许多方向上都取得了重大突破,而深度学习模型也被广泛地运用于各个研究领域和部署到人们的生活当中。尽管深度学习在许多复杂问题上取得了优秀的表现,
徽州糕饼模艺术是徽州地域文化特色的重要体现,蕴含着深厚的民俗文化与工艺美术价值,并且在模印工艺上与传统织物印花模印工艺有着极为相似的一面。前期通过资料的收集与归纳