近年来,随着信息社会的发展,人们对视频信息的需求不断增长,相应的视频产品快速进入到办公、娱乐和安全等众多领域当中。在此推动下,数字视频编码、处理和传输技术取得了长足的发展。作为新一代的视频压缩编码标准,H.264在压缩效率、质量和网络适应性等方面均取得了显著的提高。目前H.264正逐渐取代原有视频压缩标准在各应用领域占据主导地位。视频标准的应用和推广也离不开相应码率控制方案的支持。由于带宽和存储资源相对有限,码率控制对于视频编码器输出码流与信道速率的匹配,以及在码率受限的条件下重建视频质量的优化都具有十分重要的意义。然而,H.264视频编码器自身具有的高度复杂性使得其码率控制相对以往的视频标准更具挑战性。本文面向实时视频应用,通过对H.264码率控制技术的研究和优化,力求提高重建视频的主观质量。本文首先简要介绍了H.264采用的若干先进编码技术,特别是与码率控制紧密联系的帧内/帧间预测技术和结合整数DCT变换的量化策略。接着对率失真理论在视频编码优化以及码率控制中的应用进行了分析,并总结出码率控制方案中常用的几个率失真模型。随后重点阐述了码率控制的几个关键问题,在对JVT推荐的系列H.264码率控制参考算法进行回顾的基础上,分析了现有H.264码率控制技术的缺陷以及对此进行优化的可能性。然后,针对现有H.264帧级比特分配方案在视频序列包含快速运动内容或者场景切换时可能导致PSNR剧降的问题,提出了一种改进的基于预编码的H.264帧级比特分配方案。算法首先对帧内所有宏块进行16×16模式的预编码,并据此计算出“码率-失真之比”以度量当前帧的编码复杂度。目标帧比特数最终由帧编码复杂度、帧间PSNR波动程度以及缓冲区状况共同决定。实验结果表明该方案能够有效地抑制由于快速运动或者场景切换而导致的PSNR剧降,并取得一定的PSNR增益。此外,由于预编码不依赖于后续编码帧,且导致的额外计算复杂度也在一个可接受的范围内,这为算法的实时应用提供了可能。为了实现质量恒定的实时视频编码,改善重建视频图像的观看效果,本文将ρ域率失真模型与二步编码框架相结合,提出了一种面向实时应用的视频质量平滑的H.264码率控制算法。算法第一步对当前帧的所有宏块进行编码,根据编码结果建立当前帧的ρ域率失真模型。同时采用一个低通滤波器估算当前帧的目标失真度,并结合GOP剩余编码比特和缓冲区状态得到当前帧的目标比特数。如果第一步得到的编码失真或者编码比特超过相应的阈值,则进行第二步编码。第二步采用ρ域码率控制算法得到帧内所有宏块的最终量化参数,并对第一个编码阶段的残差信号进行再编码。该算法在准确控制码率的同时,实现了相对平滑的视频质量输出。最后,本文分析了从客观到主观的视频质量评价标准发展过程,指出根据HVS特性进行视频编码器优化的必要性。在此基础上,重点探讨了模式选择与帧内比特分配之间的关系,以及基于视觉感知的H.264模式选择优化的意义和可行性。为了进一步提高重建视频的主观质量,本文从视频编码的角度出发,提出了一个基于视觉重要性的视频图像分析模型。根据这个模型,提出了一种基于视觉感知的H.264自适应模式选择算法。算法按照每个宏块的视觉重要性等级,自适应地调整率失真优化模式选择过程中的拉格朗日算子,使得视觉重要性等级高的宏块采用失真较小的编码模式,视觉重要性等级低的宏块采用码率较低的编码模式,从而实现了基于视觉感知的编码性能优化。针对码率受限的应用环境,本文在自适应模式选择算法的基础上进一步提出了一种宏块级的码率控制策略,有效提高了重建视频的主观质量。