近几十年来，信息技术在不断发展，其中多媒体技术的各种应用已成为人们工作生活中不可或缺的一部分。在多媒体信息中，视频信息是最重要的，因为人们从外界得到的信息有80%以上是通过视觉获取的。为获得高清晰的视频，信息量巨大，受到当前传输宽带、存储容量的限制，这就要求对视频进行压缩编码。由此，视频编码技术应运而生，在过去的30年时间里，ISO/IEC和ITU-T两大国际标准组织制订了一系列的视频编码标准。其中，H.264/AVC是最新的国际视频编码标准，和以往的标准相比，H.264/AVC获得了极佳的编码性能。H.264/AVC的性能提升是通过增加计算复杂度为代价的，其编码的计算复杂度大约为H.263的3倍，解码的计算复杂度大约为H.263的2倍。因此有必要对一些关键技术进行算法优化，降低计算复杂度，使其更具有实际应用性。本文首先简述了视频编码理论，从视频压缩的可行性、基本原理和视频编码标准的发展三方面进行概述；接着简要介绍了H.264编码技术，并对H.264开源软件平台X264进行了概述；最后本文重点研究了H.264中的两个关键技术——帧内预测模式选择和率失真优化策略。本文以H.264标准作为研究目标，主要研究工作有以下三方面：(1)对H.264开源软件平台X264的整体程序框架进行了解读，并对帧内预测、帧间预测等模块进行了深入了解和分析，为后面的研究工作提供软件支持。(2)通过利用基于块的边缘检测算法，对帧内预测模式选择算法进行改进，实验结果表明，边缘与帧内预测模式之间具有一定的相关性，并且模式选择快速算法在重建图像质量无明显下降的情况下，比H.264原有算法编码时间节省70%以上。(3)研究了率失真优化技术，对视频编码中的率失真优化算法进行研究，在总结H.264经典RDO算法的基础上，把基于结构相似度图像质量评价标准SSIM应用于视频编码的率失真优化策略的失真度量中，提出并设计出效率较高的编码模式选择策略，并将其应用于H.264帧内预测模式选择中。实验结果表明，基于SSIM的率失真优化策略具有性能更佳的率失真曲线(R-D曲线)，即在给定的编码比特率条件下，重建图像质量更好。