H.264/AVC作为一种新的视频压缩编码标准，不仅保留了以往编码标准的先进技术，还增添了许多新技术，如：多参考帧预测、率失真优化技术、整数变换、环路滤波、新的熵编码等。这些新技术的引入虽然使H.264/AVC出现较多的优势，却也繁琐了编码器的设计、限制了应用领域的范围。因此改进编码算法以降低运算复杂度具有重要的意义。本文首先介绍了视频压缩编码标准的研究意义和研究背景，通过对编码标准发展历程的介绍引出H.264/AVC，随之阐述了这一新标准的编解码原理、结构和相关技术支持。帧内预测过程通过遍历所有模式的方法筛选最佳预测模式，这一算法很繁琐，文中提出快速预测模式选择的方法，提高了编码效率。小波域运动估计虽然克服了基于空间域的运动估计存在的块效应、运算量大等不足，但存在移变性。本文在此过程中加入二元树复小波分解过程和分层运动估计的方法，减弱了小波变换的移变，降低运动搜索复杂度。具体的研究内容为：(1)帧内预测模式选择前的预判定工作。通过计算宏块的SSD值判定残差块是否为全零块，设定阈值T，若SSD值小于T时判为全零块。这种方法避免了全零块的变换、量化、反变换、反量化过程，进而提高了编码速度。(2)基于纹理特征的H.264帧内预测模式选择算法。亮度4x4模式所消耗的时间在整个帧内预测过程消耗的时间中占据很大的比例，本文依据这点提出改进的4x4亮度块模式选择方法：在残差块不为全零块的情况下，由Canny算子计算出图像中每个像素点的梯度方向，再结合平方梯度法求出图像的纹理方向。依据纹理方向选择亮度4x4预测模式中与之对应的可能的模式。这一新方法不仅省去了对全零块处理过程，还缩小了最佳模式搜索的范围，简化了计算量，加快了编码速度。(3)H.264/AVC帧内预测模式快速选择算法研究。提出梯度幅值判定宏块的平坦程度的方法，由Kirsch算子求出的当前宏块的梯度幅值和梯度方向，梯度幅值用来预先判定选用的模式是4x4还是16x16，对于细节较丰富的图像直接选4x4模式，而梯度方向用来确定亮度4x4和16xl6的预测模式的选择。(4)基于二元树复小波域的高精度运动估计研究与应用。提出一种改进的二元树复数小波变换方法，主要思想是改善小波域运动估计的平移可变性。用提出的新方法对当前帧和参考帧进行小波分解，对生成的子带进行分层运动估计，由于避免了直接处理敏感性较强的闻频息，提闻了小波域运动估计精度。本文以H.264/AVC的参考模型JM13.2为实验平台，针对不同的视频序列，对提出的改进算法进行仿真。本文算法在峰值信噪比和编码码率保持基本持衡的条件下，降低了计算的复杂度，编码时间明显减少，提高了运动估计搜索的精度。