H.264标准是目前国际上最新的视频压缩标准,由国际电信联盟(ITU)和国际标准化组织(ISO)联合制定。H.264采用了一系列先进的编码技术,和以前的视频标准相比,它具有更好的压缩性能和良好的网络适应性,拥有十分广阔的应用前景。但与此同时,H.264的算法复杂度较高,较难满足实时应用的需求。因此,研究其算法,并根据实际需求进行算法改进和优化,具有重要的理论意义和应用价值。本文主要研究H.264帧内预测模式选择算法和码率控制算法。帧内预测技术是H.264的关键算法之一,本文对H.264标准中的帧内预测算法进行了分析,针对H.264支持的帧内预测模式较多,全部进行率失真优化导致算法复杂度较高的问题,提出并实现了一种模式选择快速算法。该快速算法通过对宏块纹理特性的统计,进行模式类型预判断,预先排除可能性较小的模式,选取部分模式作为待测模式进行下一步的率失真优化。实验结果表明,该快速算法能够在不明显降低编码性能并保证图像质量的前提下,降低帧内预测模式选择的计算复杂度,有效提高编码速度。由于H.264的模式选择过程采用了率失真技术,导致H.264的码率控制策略和其它标准存在差异。本文对码率控制的原理和几种经典的码率控制算法进行了研究,在此基础上,分析了H.264码率控制算法中的“蛋鸡悖论”和采用的码率控制算法,指出现有算法的不足之处,并提出了一种利用纹理信息进行复杂度判断的码率控制改进方案。