H.264/AVC是由ITU-T的视频编码专家组(VCEG)和ISO/IEC的活动图像专家组(MP-EG)组成的联合视频组(JVT)与2003年共同开发的视频编码标准，它也被称为MPEG-4的Part10。据大量仿真实验得出，与MPEG-2编码标准相比，在重建图像质量相同的情况下，H.264/AVC大约可节省50％的码率。因其更高的压缩比、更好的网络适应性，H.264/-AVC标准在数字视频通信和存储领域得到了愈来愈广泛的应用。但同时也应该看到，H.264/AVC标准较高的压缩比付出了计算复杂度大量增加的巨大代价。据统计，H.26-4/AVC标准编码器的计算复杂度大约相当于H.263的3倍，解码器的计算复杂度大约相当于H.263的2倍，所以在实际应用中很有必要对其复杂算法进行优化，以提高编码的效率。　　 本论文首先对视频压缩技术的一般方法进行了简单介绍，然后以H.264/AVC视频编码标准为研究对象，研究了H.264/AVC标准所采用的关键技术，并结合编码标准和测试模型JM10.2深入研究了H.264/AVC的编码模式选择算法。基于编码模式选择算法的复杂性，本文分别针对帧内和帧间编码提出了一种优化算法。对帧内编码：采用预判块大小和减少候选模式搜索范围相结合的算法；对帧间编码：采用基于统计特征的SKIP模式早期终止、Intra早期检测和模式空时相关性三种技术相结合的方法。　　 本文在对测试模型JM10.2做出修改后，分别选取六组有代表性的标准视频序列进行试验并用三个参数来衡量算法的编码性能。实验结果表明：帧内快速模式选择算法可节约最大超过65％的编码时间，码率增加在6.5％以下；帧间快速模式选择算法可节约最大超过36％的编码时间，码率增加基本在1.5％以下。此外，优化编码后图像质量几乎不变。