随着信息和网络技术的发展,视频编解码技术也在不断的进步和发展。新一代视频编码标准H.264/AVC与以往的视频标准相比,在同等图像质量条件下,获得了更高的压缩比,但是随之而来的是编码复杂度的提高。H.264/AVC支持多种宏块编码模式,如何进行最优编码模式的选择是编码过程中必须考虑的一个问题。在H.264/AVC标准中,采用基于率失真理论的RDO(rate distortion optimization)算法进行模式选择。率失真技术能够保证信源和网络的适配以及恢复视频的质量,但是也导致了运算复杂度的提高,例如,在帧内预测时,为了确定一个宏块帧内最佳预测模式,需要进行592种RD(rate distortion)代价的计算。本文提出了一种基于FPGA实现的H.264/AVC编码模式选择算法的VLSI设计。首先,通过DCT变换选择出帧内预测最佳模式和帧间预测最佳模式,然后通过量化操作,进一步选择出当前宏块的最佳编码模式。在进行VLSI设计时,研究和分析编码过程中相关模块与模式选择的关系,以4×4子块为最小处理单元,两路并行完成宏块编码,并且充分实现资源复用。对本文设计进行综合与性能分析,结果表明,本文设计能够在757个时钟周期内完成一个宏块的编码,同时,综合时钟频率可以到达130MHz。因此,本文设计可实现高性能宏块编码的模式选择,并且能够用于大分辨率视频图像的实时编码。