H.264是ITU-T的VCG和ISO的MPEG最近联合开发的新一代视频编码标准。H.264出色的编码效率和有效的传输接口使得它可以广泛应用于IP网络和无线网络上的视频业务。H.264存在着与早期的视频编码标准相似地研究课题。首先,编码效率在比以前标准提高50%的同时,复杂度也增加了一个数量级。如何减少计算复杂度对H.264标准的实时应用尤为重要。其次,H.264码率控制方案假设视频序列的帧与帧之间有一定的相关性,可以用前面的编码产生的统计信息指导当前帧的码率控制。然而,视频序列帧与帧之间统计特性千差万别,尤其在场景切换或者运动剧烈的情况时,前后帧之间的相关性消失或明显减弱。这造成了序列前后编码帧的图像质量有明显的波动。如何改进码率控制方案以降低前后帧解码图像的波动对H.264的应用也尤为重要。最后,H.264在提高50%编码效率的同时,编码复杂度也增加了十几倍。单纯从基于混合编码框架上来提高编码效率已越来越困难。近年来,国内外学者逐渐加大了将人眼视觉特性应用到视频编码中的研究力度,以在进一步提高编码效率的同时,改善图像的主观质量。如何将人眼视觉特性融合于编码系统中,将是视频编码技术发展的一个重要问题。为此,本文将从降低编码复杂度、码率控制、视觉编码这三方面进行研究以优化H.264的编码算法。第一,基于H.264实时应用,本文对H.264编码算法进行优化。针对编码过程复杂度高的整数变换与量化、运动估计、预测模式选择、参考帧选择等模块进行深入的研究与分析,首先在像素域内充分利用纹理特性、相邻块的相关性以及已编码块的信息等,给出了一套快速算法,有效地减少编码器的运算量。接着从运动场的空域、时域分布的角度出发,基于帧内模式选择、帧间模式选择,参考帧选择与运动场空时一致的相关性,给出了一套快速算法,这套算法克服了在像素域利用纹理特性的快速编码算法的局限性。第二,基于帧层、GOP层码率分配存在的局限性,本文对H.264码率控制提出了改进。给出了一种基于增量式PID和帧复杂度的帧层目标比特分配方案。首先,引入增量式PID对缓冲区“液面”进行控制,减小由于缓冲区“液面”波动带来对帧层目标比特分配的负面影响。接着,给出了基于帧复杂度的目标比特分配方案,其中采用前一帧MAD、前一帧时域活动度以及当前帧时域活动度来来预测当前帧的复杂度。本方案可使视频质量PSNR的波动平均降幅32%;给出了一种基于增量式PID算法GOP层目标比特分配方案。给出的GOP层目标比特分配方案使PSNR的波动的平均降幅达15%。第三,本文研究了如何将人眼视觉关注度特性引入到视频编码中,以在进一步提高编码效率的同时,改善图像的主观质量。提出了一种基于人眼视觉关注度的视频编码方法。该方法首先快速分割局部运动宏块、边缘宏块、平滑宏块和纹理宏块。接着,基于人眼视觉关注度高低,对不同区域宏块的量化参数进行调整。本方法在提高视频主观质量的同时,可降低10%左右的码率:提出了一种基于人眼视觉关注度的H.264码率控制算法。算法首先提出了基于运动关注度帧层目标比特分配方案,增加运动剧烈帧分配的比特数,降低运动平缓帧分配的比特数。接着,提出了基于人眼视觉关注度的宏块层目标比特分配,增加关注区域宏块的目标比特数,降低非关注以及能够掩盖更多失真区域宏块的目标比特数。本方法在降低视频质量波动的同时,关注区域的PSNR也有大幅提高,从而有效的改善了视频图像的主观质量。