H.264/AVC是新的视频编码标准,它比以往的任何视频标准的编码效率都高很多。这是因为H.264/AVC标准采用了许多新技术,如自适应二进制算术编码(CABAC)技术和率失真优化(RDO)技术等。这篇论文旨在改进和优化CABAC和RDO算法,进一步提高熵编码效率以及主观视频质量。CABAC是应用在H.264/AVC编码器主要档次的高效熵编码方法,它比应用在基本档次的熵编码方法节省将近20%的码率。它之所以可以达到很高的压缩率,一个根本的原因就是它可以利用数字符号的统计特性来消除符号间的冗余。在CABAC中,对运动矢量(MV)的编码占据了很大一部分比特。然而,对运动矢量残差(MVD)准确的上下文建模可以节省码率并获得编码效率的提高。为了达到这一目的,这篇论文提出了一个更有效的运动矢量CABAC上下文建模算法。在对MVD竖直分量的CABAC编码过程中,为了给它选择更为合适的概率模型,本文既考虑当前块MVD水平分量与竖直分量之间的相关性,也考虑了相邻编码块的MVD竖直分量之间的相关性。另外,本文针对不同的待编码块大小合理地采取不同的编码方案。对于较小的块来说,本文只考虑相邻块的MVD竖直分量间的相关性;而对于较大的分割块,除了利用相邻块MVD竖直分量间的相关性,同时也利用当前块两个MVD分量间的相关性来优化字符的概率估计。这种方法可以在运动矢量熵编码过程中实现更准确的概率估计和上下文模型选择,从而能够进一步提高编码效率。本文在H.264/AVC标准参考软件JM 12.2上实现了新的算法,实验结果表明新算法能够改善CABAC编码器的编码性能。RDO是在H.264/AVC编码器中应用的另外一个重要技术。它能够在一定的编码约束条件下取得最佳的客观视频质量;但是它却忽略了主观视频质量。然而,由于最终的视频质量是由人类视觉系统(HVS)来判断的,所以我们可以根据人眼视觉特性来调整编码算法。本文提出了一个基于HVS感知特性的、以宏块为基本单位的RDO算法。论文结合三个重要的视觉特性建立了三个视觉失真敏感度模型。然后,这些模型被用来使视觉失真达到最小,而不是使传统的平均绝对差(MAD)失真达到最小。在RDO过程中,根据这三个视觉失真敏感度模型,拉格朗日乘子被逐个宏块地进行调整。待编码帧的每个宏块的拉格朗日乘子能够自动地按照如下方案进行修改:视觉敏感度较高的宏块被分配较小的拉格朗日乘子,这样能够以较大的码率减小这些宏块的整体失真;另一方面,通过给视觉敏感度较低的宏块分配较大的拉格朗日乘子来达到码率平衡,这样虽然解码后图像的这些宏块中会出现一定的失真,但是人眼很难察觉到。本文同样在JM 12.2软件平台上实现了这个新的RDO算法,仿真结果表明新算法能够在不牺牲PSNR的情况下改善重建图像的主观质量。