H.264是由国际电信联盟(ITU)和国际标准化组织(ISO)联合成立的联合视频专家组(JVT，Joint Video Team)于2003年5月正式推出的视频编码标准。与以往的视频编码标准相同，H.264采用的是基于块的混合视频编码模式，其基本的源编码算法是：利用时间统计的相关性，开发帧间预测算法；利用预测残留变换编码，开发空间统计的相关性。同时该标准又使用了一系列先进的编码技术：如帧内编码中的空域预测、可变块尺寸的运动补偿、4×4整数变换、多参考帧选择和内容自适应的二进制算术编码等。H.264在编码效率、网络适应性等诸多方面都超越以往的视频编码标准。因此受到业界的广泛关注。在提高编码效率方面，没有一个单一的算法做出特别的贡献，而是大量的小的改善算法综合产生的结果。为了达到高效的编码性能，H.264使用率失真优化(RDO，Rate Distortion Optimization)模型为每个宏块选择最佳编码模式和参考帧。但是由于H.264使用全搜索算法，其计算复杂度远远高于现有的其他标准，无法满足实时视频通信等应用需求，所以必须对算法进行优化以降低复杂度。H.264中提高编码性能的一个重要手段是帧内编码，它采用了多种预测模式，这些模式在对I、P和B帧编码时，都需要进行逐一计算。因此，可以通过优化快速算法来降低帧内编码的整体复杂度。本文对帧内预测编码的全搜索算法和基于边缘直方图的经典快速算法进行了仔细地分析和深入的研究，并在此基础上提出了一种改进的基于边缘直方图的快速算法，并在x.264平台上加以实现。实验数据证明了提出的算法的与基于边缘直方图的快速算法相比PNSR略有下降，但有一定的时间节省和比特率节省，进一步提高了快速算法的编码时间和性能。码率控制的目的是调整输出码流，从而更加有效的利用带宽，同时尽可能的达到高的平稳的图像质量。本文探讨了码率控制中的关键技术，研究了H.264的码率控制算法，尤其深入研究了H.264中码率控制跳帧算法。在此基础上提出了一种依据运动复杂度的码率控制跳帧算法，并在x.264平台上加以实现。实验结果表明与H.264标准中码率控制中跳帧算法相比，本文提出的算法能使缓冲区占有量更加平稳，能够获取更稳定的输出码流。