H.264/AVC(以下简称H.264)是由活动图像专家组和视频编码专家组共同组成的联合视频组JVT制定的新一代国际视频编码标准。预测模式选择和运动估计是H.264标准的关键技术,是视频压缩的主要计算开销,决定了编码速度和压缩质量,因而成为视频编码领域的研究热点。本文以寻找高效的视频压缩算法为目的,对H.264的帧内多模式选择、帧间多模式选择和多参考帧运动估计算法进行研究分析,并在此基础上对算法进行改进。首先,对帧内和帧间多模式的选择技术进行了研究。根据预测模式的方向性将多种模式分类,缩小模式选择的范围,对帧内预测编码模式选择技术进行算法上的改进。接着根据视频图像本身的细节特征,对帧间预测编码模式选择算法进行改进。改进算法将多种预测模式按尺寸大小分类,根据图像块的细节程度判断选择哪一类预测模式,并根据块的纹理方向对模式进一步筛选,减少预测模式的数量。其次,对基于块的多参考帧运动估计技术进行了研究。利用视频图像信息的时空相关性对多参考帧运动估计算法进行改进。改进算法选择邻近帧和相邻块的编码帧作为当前待编码块的参考帧,减少参考帧数目;组合多种搜索模板对不同大小的块模式采用不同的搜索策略,以便减少搜索点数、提高编码效率。最后,对论文中改进的算法进行系统仿真实验,在实验运行的基础上进行性能分析和评价。