在多媒体通信中,压缩编码后的信息流常常需要在带宽不恒定的网络上传输。为了使编码后的视频流很好地适用带宽,尤其是适应低带宽信道或时变的无线信道并充分利用有限网络资源,码率控制成为了视频通信系统中一个必不可少的环节。一方面它需要防止因为信源比特与当前带宽不一致而可能造成的缓冲上溢或下溢情况的发生,另一方面它还必须兼顾传输视频的质量。基于它的这种重要性,码率控制技术一直为视频编码技术研究领域中的一个热门研究点,其中比较经典的方案有MPEG-2的TM5算法,MPEG-4的VM8算法和H.263的TMN8等。H.264/AVC是JVT于2003年3月最终定案的新一代视频编码国际标准,它以其优越的编码效率在视频通信领域如手机视频,高清电视等得到了越来越广泛的应用。相比于以前的编码标准,一方面H.264/AVC在编码模式判别上引入了率-失真优化的思想,导致鸡蛋悖论;另一方面,H.264/AVC引入了更复杂的编码模式,这就使得非纹理信息极大地增加。非纹理信息灵活多变使得头信息不可再视为常量,因而最终使得由率-失真模型预测出的量化参数准确度下降。因此可以说新一代视频标准下的码率控制面临着新的挑战。JVT提案G012中针对码率控制中的以上问题提出了一种解决方案,尽管该提案最终被JVT吸收进H.264/AVC,但头信息量的估算的精度问题依然存在,此外新的问题比如帧层比特分配失衡,MAD预测精度不高等也被引入。本论文首先从统计规律的角度出发,针对非纹理信息量预测精度不高的问题,提出一种新的基于概率选择思想的非纹理信息估计方法。这种方法的基本思想是基于相邻两个编码单元有很强的时间相关性或者空间相性的假设,以一种判定时间相关性和空间相关性统计概率大小的方法来预测图像的非纹理信息,测试实验结果证明这种方法比H.264原有的采用空间相关信息与时间相关信息相互平均的方法预测精度更高。其次本文针对在帧层码率分配上的因平均分配而带来的分配失衡问题上,考虑了图像内容复杂度,引入基于差分直方图和直方图联合约束的复杂度度量因子对编码图像进行度量,进而对当前比特分配策略进行优化,改善H.264/AVC码率控制精度和性能。本文将算法在H.264/AVC测试模型JM10.2上实验,结果证明本文在头信息量的预测、帧层码率分配两方面上的改进能进一步提高信噪比,并且信噪比的波动变得更小,这样使图像看起来画面质量更好,平滑度更高。