论文部分内容阅读
在信息化高度发展的当今社会,视频数据成为了主要的多媒体数据形式。人们对宽色域、高清晰度、高分辨率的视频需求日益高涨,这对视频数据的存储、传输造成极大的负担。应用现状对视频压缩提出了更高的要求,探索更高编码效率的压缩技术成为国内外研究的重点问题。本文致力于提高视频编解码中帧间预测技术的编码效率,并主要从提高运动矢量的预测准确度和提高预测块的预测准确度两个方面着手,主要工作和贡献包括以下几个方面:
1.提出基于虚拟运动矢量的运动矢量预测机制,解决长期参考机制下运动矢量预测值候选项不足的问题。长时运动矢量和短时运动矢量相关性弱,在现有的视频编码技术中,两者不能交叉预测,这将导致运动矢量预测值候选项不足。为此,我们利用重建像素在参考帧上进行运动搜索导出缺失类型的运动矢量,导出的运动矢量为虚拟运动矢量。这样保证每个编码块重建完成后同时具有长时运动矢量和短时运动矢量。后续块进行运动矢量预测编码时,可从任一相邻块选择同类型的MV进行预测。同时,由于真实运动矢量置信度高于虚拟运动矢量,我们提出了基于置信度的运动矢量预测值构造机制,使得编码性能提升1%。
2.提出了基于空间相邻像素的自适应双向加权预测技术.提高双向预测块的准确度。在研究过程中,我们发现在merge/skip模式的双向预测中的两个参考块与当前块的相似度会存在明显差异,双向加权预测的最佳权重值在所有候选值上呈现均匀分布。这说明一个特定的权重并不适合所有图像块。我们提出了基于空间相邻像素的自适应双向加权技术。通过理论分析,我们发现两个参考块与当前块的相似度的比值与最优权重间存在对数关系。由于当前块像素值未知,当前块空间相邻像素与参考块空间相邻像素的相似度用于估计当前块和参考块的相似度。为相似度更高的参考块分配更大的权重,自适应双向加权预测技术可获得0.5%编码性能提升。
3.提出了利用空间信息的基于卷积神经网络的双向预测技术。在上述自适应双向加权技术中参考块内的不同像素点共享同一权重,当图像块内存在物体遮挡、阴影时,块级双向加权技术会产生具有结构特性的预测残差。本文拟采用神经网络对双向块进行融合,利用图像的纹理信息实现像素级的自适应加权预测。同时,本文第二个研究点证明空间相邻像素有助于提高双向预测准确度。因此,我们将空间相邻像素、参考块信息作为网络输入,输出最终的预测块。输入的空间相邻像素具有如下作用:1)当前块的空间相邻像素的引入可以提高预测块边界处的准确度;2)估计当前块与两个参考块的相似度,为相似度高的块分配较大权重,提高合成块准确度;3)估计当前块与参考块的时域变化修正单向参考块,从而提高合成块的准确度。利用空间信息的基于卷积神经网络的双向预测技术将编码性能提高3%。
4.提出了利用时域距离和空间信息的基于卷积神经网络的双假设预测技术。在现有常用的编码结构中,两个参考块可能来自同一预测方向,可能来自两个方向。时域信息的引入可以使得基于卷积神经网络的双假设预测技术对内插和外插进行统一处理。同时,由于时间距离近的视频帧的相关性高,将时域距离引入神经网络可以提高编码性能。进一步地,我们探索了不同帧间模式下,使用码率一失真优化选择基于卷积神经网络的双假设预测技术的必要性。本技术将编码性能提升了5%。我们将双向光流补偿技术与基于卷积神经网络的双假设预测进行耦合,进一步提高了编码性能,
一方面,本文提出的虚拟运动矢量在长期参考机制下提供更准确的运动矢量预测值,提高了帧间运动矢量编码效率。另一方面,本文针对双向预测提出块级、像素级自适应加权技术增强帧间预测像素值的准确度。
1.提出基于虚拟运动矢量的运动矢量预测机制,解决长期参考机制下运动矢量预测值候选项不足的问题。长时运动矢量和短时运动矢量相关性弱,在现有的视频编码技术中,两者不能交叉预测,这将导致运动矢量预测值候选项不足。为此,我们利用重建像素在参考帧上进行运动搜索导出缺失类型的运动矢量,导出的运动矢量为虚拟运动矢量。这样保证每个编码块重建完成后同时具有长时运动矢量和短时运动矢量。后续块进行运动矢量预测编码时,可从任一相邻块选择同类型的MV进行预测。同时,由于真实运动矢量置信度高于虚拟运动矢量,我们提出了基于置信度的运动矢量预测值构造机制,使得编码性能提升1%。
2.提出了基于空间相邻像素的自适应双向加权预测技术.提高双向预测块的准确度。在研究过程中,我们发现在merge/skip模式的双向预测中的两个参考块与当前块的相似度会存在明显差异,双向加权预测的最佳权重值在所有候选值上呈现均匀分布。这说明一个特定的权重并不适合所有图像块。我们提出了基于空间相邻像素的自适应双向加权技术。通过理论分析,我们发现两个参考块与当前块的相似度的比值与最优权重间存在对数关系。由于当前块像素值未知,当前块空间相邻像素与参考块空间相邻像素的相似度用于估计当前块和参考块的相似度。为相似度更高的参考块分配更大的权重,自适应双向加权预测技术可获得0.5%编码性能提升。
3.提出了利用空间信息的基于卷积神经网络的双向预测技术。在上述自适应双向加权技术中参考块内的不同像素点共享同一权重,当图像块内存在物体遮挡、阴影时,块级双向加权技术会产生具有结构特性的预测残差。本文拟采用神经网络对双向块进行融合,利用图像的纹理信息实现像素级的自适应加权预测。同时,本文第二个研究点证明空间相邻像素有助于提高双向预测准确度。因此,我们将空间相邻像素、参考块信息作为网络输入,输出最终的预测块。输入的空间相邻像素具有如下作用:1)当前块的空间相邻像素的引入可以提高预测块边界处的准确度;2)估计当前块与两个参考块的相似度,为相似度高的块分配较大权重,提高合成块准确度;3)估计当前块与参考块的时域变化修正单向参考块,从而提高合成块的准确度。利用空间信息的基于卷积神经网络的双向预测技术将编码性能提高3%。
4.提出了利用时域距离和空间信息的基于卷积神经网络的双假设预测技术。在现有常用的编码结构中,两个参考块可能来自同一预测方向,可能来自两个方向。时域信息的引入可以使得基于卷积神经网络的双假设预测技术对内插和外插进行统一处理。同时,由于时间距离近的视频帧的相关性高,将时域距离引入神经网络可以提高编码性能。进一步地,我们探索了不同帧间模式下,使用码率一失真优化选择基于卷积神经网络的双假设预测技术的必要性。本技术将编码性能提升了5%。我们将双向光流补偿技术与基于卷积神经网络的双假设预测进行耦合,进一步提高了编码性能,
一方面,本文提出的虚拟运动矢量在长期参考机制下提供更准确的运动矢量预测值,提高了帧间运动矢量编码效率。另一方面,本文针对双向预测提出块级、像素级自适应加权技术增强帧间预测像素值的准确度。