作为目前流行的视频编码压缩标准,H.264/AVC支持从低带宽、高误码率的无线移动视频通信到高码率、低延迟的视频广播及在线流媒体等多种应用,因此日益受到业界的关注。尽管其有着压缩效率高、压缩质量好的特点,却因为复杂度过高,不能适用于实时视频传输。本论文的主要研究内容是在H.264视频编码算法充分理解的基础上,根据帧内预测模式和熵编码算法的深入研究,对原有的算法进行改进,以数学模型取代复杂熵编码,简化代价函数的计算,从而节省最佳预测模式的选择时间,以实现一种低复杂度的快速算法,同时对新算法的性能做对比检验以证明效果。本文的主要工作包括:(1)深入研究H.264标准和目前的降低该算法复杂度的方法,对现有文献中较为经典和著名的快速算法进行科学合理的分析和研究,总结其特点并指出局限性。(2)重点研究代价函数优化算法,深入研究CALVC熵编码模型,总结其语法元素划分规则和码表特征,将CAVLC中各个语法元素与码流之间的关系以数学表达式的形式予以建立。(3)提出一种较为准确估计CAVLC生成码率的模型。建立一个简单的模型估计CAVLC的输出码率。将建立的码率估计模型取代复杂熵编码过程计算R,降低RDO复杂度,实现帧内预测模式的快速选择。(4)对改进后的算法进行性能验证,并对新算法的特性与效果进行详细分析和充分对比,总结了算法的优缺点。(5)深入研究率失真优化算法与码率控制的关系,分析JVT-G012经典码率控制提案和现有的改进方案,针对当前码率控制方案的不足,分别提出改进策略。