H.264/AVC是由ITU和ISO两大组织联合组成的JVT共同制定的一项新的视频压缩技术标准，在较低带宽上提供高质量的图像传输是H.264/AVC的应用亮点。在同样的视觉质量前提下，H.264/AVC比H.263和MPEG-4节约了50％的码率。但H.264获得优越性能的代价是计算复杂度的增加，据估计其编码的计算复杂度大约为H.263的3倍，因此很难应用于实时视频处理领域。针对这一现状，业内做了大量的研究工作，力图降低其计算复杂度和提高运行效率。比如在运动估计方面，国内外在这方面的研究已经很成熟。而针对帧内/帧间预测编码的研究却较少。因此研究预测模式的快速算法具有理论意义和应用价值。 本文在详细研究H.264标准视频压缩编码特点基础上，分析了H.264帧内编码, 帧间编码及变换，量化技术的原理及特点，提出了一种基于局部边缘方向信息的快速帧内模式判决算法，通过结合SAD的模式选择方法来减少模式选择数目。它采用了Sobel梯度算子计算当前块的边缘信息，累加当前块中属于同一方向像素点的边缘矢量构造不同模式下的边缘方向直方图，以便确定最可能的预测模式。该算法有效降低了编码器的运算复杂度，在并未显著降低编码性能的情况下提升了编码器效率。仿真表明：Foreman 图像序列编码性能有了提高，其中PSNR平均降低了0.06dB，Bitrate平均降低了19.4％，这大大提高了视频传输的质量。 另外在帧间预测模式选择算法方面进行了改进研究：按顺序对不同类型进行判决，有选择地去比较可能模式，使得在有效减少需判决的模式数量的同时，结合小块模式搜索中途停止准则来确定最优模式。仿真表明：改进算法相对与原来算法能够节省很多的编码时间（平均下降了49.3％），但带来的图像质星的下降（平均下降0.08dB,可以忽略）和码率较少的增加。 同时在整数DCT变换模块中，提出了一种快速蝶形算法，使得对4×4点数据做一次变换，只需通过8×8次加法和2×8次移位运算便可完成，与原来12×8次加法和4×8次移位相比，新算法大大降低了运算复杂度。 最后介绍FPGA的特点及设计流程，并实现了H.264编解码器中变换编码及量化和熵解码模块的硬件。这种基于FPGA所实现的H.264编码视频处理模块设计具备了成本低，周期短，设计方法灵活等优点，具有广阔的市场应用前景。 仿真表明，通过使用本文提出的帧内/帧间速算法方法可使得H.264编码速度获得显著的提高，使H.264 Baseline编码器能在PC平台上实现实时编码。