H.264是联合视频组JVT(Joint Video Team)于2003年3月发布的新一代视频压缩标准。H.264标准支持从低带宽、高误码率的无线移动视频通信到高码率、低延时的视频广播及在线流媒体等多种应用,因此日益受到业界的关注。为了实现更高的压缩效率,H.264标准采用了多种新的编码技术,如多参考帧预测,变块尺寸运动估计,整数变换、基于上下文的熵编码等。这些新技术在提高压缩比的同时也大大增加了编解码的复杂度。针对此问题,本文就编码端的运动估计和解码端的运动补偿算法展开了研究。本文首先介绍了视频编码的一般原理,回顾并对比了先前发展的H.26x系列和MPEG系列视频编码标准;然后论述了率失真优化的数学原理及其在视频编码标准中的应用;接下来,本文在研究前人算法的基础上,提出了两种新的快速运动估计算法:一种是基于子块叠加的多模式运动估计,一种是基于逐次淘汰的多模式运动估计,两者都采用率失真优化准则,与普通全搜索算法相比,新提出的两种算法速度大大提高,而结果精度不变;最后,本文又提出了一种新的应用于解码端的运动补偿算法,简化了解码端运动补偿模块的设计,为解码器的硬件实现提供了方便。