二十世纪九十年代以来，JPEG、H.263、MPEG-1、MPEG-2等图像多媒体国际标准相继出台，它们成功地应用于多种实用场合。但是，随着计算机网络技术和无线通信技术的飞速发展，多媒体业务的需求不断增加，现有的这些视频压缩标准明显存在着一些缺陷和局限性。为了克服这些缺点，联合视频组JVT制定了新一代视频编码标准H.264/AVC，它可以得到更好的压缩图像效果、拥有更多的功能和更大的灵活性。　　 虽然H.264具有很多优良性能，但是它的运算量也是十分巨大的，其编码速度比较慢，在通常的条件下，无法满足实际应用的要求。因此在保证一定编码效率的前提下，对编码器进行的优化研究，具有重要的理论价值和良好的应用前景。　　 H.264的帧内模式选择充分利用了图像的空间相关性，根据已解码的相邻块信息来预测当前块，并使用了率失真最优化技术，使得对I帧的编码性能达到很高。但是因为率失真最优化计算的时间复杂度很高，使得编码器的编码速度很慢。本文首先通过快速方向检测算法选出4×4块的部分预测模式来代替全模式计算；其次利用一些统计特性来早截止复杂的4×4块预测模式的计算；再次通过局部优化算法来减少率失真代价的组合数。通过这些举措来降低率失真最优化计算的复杂度，实现了在保证编码效率的前提下使得编码速度得到大幅提升的目的。　　 H.264的帧间模式选择是利用已编码的视频帧/场和基于块的运动补偿来实现的，支持7种块模式，支持多参考帧和1/4像素精度运动估计，对P帧的编码性能达到很高。但因7种块模式的全模式计算复杂度很高，使得编码器的编码速度很慢。本文首先通过SKIP判决将符合判决条件的宏块选出来只进行一种块模式的计算；其次通过大块模式的宏块级、亚宏块级判决将符合判决条件的宏块选出来只进行大块模式的计算；再次通过帧内模式判决将符合判决条件的宏块选出来只进行帧内模式的计算。通过这些举措来代替全模式计算，实现了在保证编码效率的前提下使得编码速度得到大幅提升的目的。