国际视频编码标准从开始制定到现在，已经有十几年的历史了。其中，国际电信联盟ITU-T组织制订的标准主要包括：H.261、H.263、H.263+和H.263++等；国际标准化组织ISO制定的标准主要包括MPEG-1、MPEG-2及MPEG-4等。而H.264是ITU-T和ISO联合推出的新标准，具备的新特征有：增强的运动预测能力；准确匹配的较小块变换；自适应环内滤波器；增强的熵编码。测试结果表明这些新特征使H.264/AVC编码器提高50％编码效率的同时，增加了一个数量级的复杂度。故开发实际编码系统时必须进行优化。 本文分层次对H.264编码器进行了优化：在对编码器框架结构改进的基础上，对于某些模块采用快速算法来提高编码速度；对于基本模块使用多媒体指令结合汇编语言工具来优化。基于对整个编解码系统的统筹考虑，本文还设计了解码器后端的码流转换播放器，使得终端图像显示能适应不同应用要求。本文的具体工作主要包括： 首先，基于对BaselineProfile编码器的研究，本文以简化RDO(率失真优化)为模式判决依据，对H.264编码器数据结构重新设计，使其模块化，方便后续指令集优化时模块间的连接。其次，针对帧内编码模式的复杂性，采用了一种快速帧内模式判决算法。本文还对已经进行过数据结构和算法优化的编码器基本模块进行分析，对比较耗时的SAD(SumofAbsoluteDifference)、SATD(SumofAbsoluteTransformedDifference)、整数变换和亚像素内插等模块采用Intel指令集结合汇编语言进行优化，进一步提高了编码速度。实验结果表明，本文优化的H.264编码器较大程度提高了编码器编码速度，与JM7.2相比编码速度提高了180倍左右。在普通PC机上就实现了实时编码。本文还设计了H.264码流播放器，该播放器位于解码器后端，实现了YUV格式到RGB格式的码流转换，可任意调整播放图像尺寸和播放速度，满足多用途的播放要求。