H.264/AVC是最新的视频编码国际标准,它是由ISO/IEC的运动图像专家组MPEG和ITU-T的视频编码专家组VCEG组成的联合视频小组JVT开发的,又称为MPEG-4 Part 10 AVC。与之前众多的编码标准相比,H.264标准中采用了许多先进的编码技术,在编码效率、图像质量以及网络适应性等方面都有了很大的提高,展示出了良好的应用前景。然而,由于采用了众多先进的编码技术,H.264的编码复杂度也远远高于先前的标准,其编解码复杂度分别是H.263的3倍和2倍。因此,研究和开发基于H.264标准的快速算法,从而降低编码复杂度,提高编码速度,对于H.264视频编码标准的广泛应用,以及进一步研究和发展视频压缩技术和多媒体通信技术具有重要的理论意义和应用价值。在H.264编码器中,宏块模式选择是造成编码器复杂度过高的重要原因,尤其是帧间模式选择。因为在帧间模式选择的过程中还包括了运动估计,而运动估计的计算量占到编码器总计算量的70%左右。所以如果能对帧间模式选择进行有效的优化,从而减少运动估计的运算量,将会大大降低运算复杂度,提高编码速度。本文在第一章中介绍了视频压缩的意义,视频压缩编码标准的发展历程,视频压缩的基本知识以及各视频编码标准的特点。接着在第二章,全面分析了H.264视频编码标准,详细介绍了H.264标准的核心技术。第三章对本文进行优化的帧间模式选择部分进行了重点的分析和研究。同时介绍了与帧间模式选择相关的运动估计、运动补偿、块匹配等概念。最后对标准参考软件模型JM8.6中的帧间模式选择算法的过程及复杂度进行了分析。第四章通过对帧间模式选择算法的研究,提出了一种基于图像相关性和模式统计概率的快速模式选择算法,并将该算法应用于JM8.6软件参考模型中,经过测试并与标准的JM8.6参考软件模型进行比较。测试结果表明,优化后的算法可以使编码时间平均减少35.48%;而平均的PSNR_Y降低了0.27dB,码率平均增加了0.66%。实验结果证明,这种优化算法有效的减少了模式判别的数量,在图像质量和码率变化很小的情况下,极大地减少了编码时间,从而提高了整个系统的编码速度。第五章主要是利用FPGA对H.264编码器中的关键函数模块进行设计。FPGA作为一种半定制的集成电路,相比于DSP和全定制ASIC具有一定的开发优势。由于DSP的运算速度慢,全定制ASIC开发周期长,投片成本高,不灵活等缺点,而FPGA可重复利用,设计修改灵活,随着FPGA片内资源的扩展,已具备DSP模块,可以实现数字信号处理的复杂算法,而且具有较高的运算速度。所以本文对利用FPGA实现H.264编码器中的部分模块进行了研究,利用VHDL硬件描述语言进行了描述,并利用Altera公司的开发软件QuartusII7.2进行了编译、优化和综合仿真。