新一代视频压缩标准H.264/AVC支持从低带宽、高误码率的无线移动视频通信到高码率、低延迟的视频会议及在线流媒体等多种应用,在多媒体领域得到广泛关注和认同。相比于以前的标准,H.264能有效地提高编码器的压缩性能,但是标准的高复杂度也是目前视频应用的主要制约因素,所以研究标准在DSP(Digital Singnal Processor)上的实现及优化是非常有意义的。本文首先对H.264的核心技术进行分析研究,内容主要包括帧内/帧间预测、整数变换、量化、熵编码等,分析了它们的研究现状和在新标准中的创新点,在此基础上总结出了H.264/AVC未来的发展趋势。其次,研究了当前主要的两种帧内模式决策快速算法,一种是基于分组像素点的快速决策算法,该方法用分组像素点来代表一个块,在决策过程中每一个步骤中仅计算一组像素点的代价函数,以此减少计算点数,降低了复杂度;另一种算法是基于边缘方向直方图的快速决策算法,通过获得宏块的边缘方向信息,来确定预测模式的方向,从而获得最优或次优的帧内预测模式。本文从预测模式代价函数的选择和提前终止模式判决的基础上,提出了一种新的快速帧内预测模式算法,实验证明本文提出的算法与原算法相比,可以节约50%-75%左右的编码计算时间,信噪比平均下降0.03dB,码率有所上升。最后分析了TI公司的TMS320DM642芯片的系统结构,详细研究了H.264在DSP平台上的优化方法,所做的工作包括:调整存储空间的分配,改变存取的方式和变量的定义,采用内联函数,循环内部流水,线性汇编等方法对H.264中影响编码速度的瓶颈函数进行优化,结合DM642的两级Cache结构充分发挥DMA的能力等。通过优化前后实验结果的对比,可以看出基于DSP编码器的编码速度从之前的1.45帧/秒提高到8.35帧/秒,速度提高了6倍,取得了较好的优化结果。