多媒体业务的快速发展和用户对视频质量需求的不断提升，促使了视频编码技术不断地改进和更新。目前视频编码标准H.264/AVC凭借其高的编码性能已广泛渗透到各种媒体产品中。然而由于具有更好的用户体验，超高清视频业务逐步走入人们视野，但其庞大的数据量使得存储和传输面临严峻的考验。为此视频编码联合小组JCTVC制定了下一代视频编码标准H.265/HEVC，以进一步提高视频压缩效率。在视频编码中，率失真优化技术扮演着关键的角色。它指导着编码器中模式判决和码率控制这两个重要模块的运行，以保证编码模式的选择、码率的分配和量化参数的确定更加地合理高效。因此本文重点研究了基于率失真优化的H.264/AVC、H.265/HEVC模式判决模块，以及H.265/HEVC码率控制模块。此外本文还研究了有关质量测度的模型。主要研究成果包括：1.针对H.264/AVC中模式判决的高复杂度问题，提出一种快速码率估计算法。本文首先分析了上下文自适应二元算法编码（CABAC）的基本原理，以及残差块所涉及的各个语法元素特性。基于这种分析，提出一种有效的残差码率估计算法，用于代替模式判决中的实际CABAC编码。一方面，本文所提算法可以准确地估计残差块的编码码率。另一方面，其设计适于硬件的并行运算，可以进一步节省编码时间。实验结果表明，H.264/AVC模式判决中的CABAC编码复杂度可降低约57%，而视频质量几乎不受影响。2.针对H.265/HEVC的编码复杂度问题，提出一种新的快速模式判决算法。考虑到视频帧的纹理特性和其编码中所采用的量化参数影响最优编码单元（CU）模式的选择，提出在CU模式判决过程中，使用最大编码单元初始分割深度预测算法跳过部分大块CU的模式判决；使用提前终止CU模式算法避免小块CU的模式判决。实验结果表明，相比于原始的H.265/HEVC编码算法，本文所提算法可平均降低51%的编码复杂度，而编码码率平均只上升了0.69%。3.针对H.265/HEVC编码器，提出一种考虑视频内容特性的帧层码率分配算法。一般的，视频内容特性不同，其编码输出的比特数就有所差异。为了保证目标码率与编码码率的一致性，在进行帧层目标码率分配时，应考虑帧内容的复杂度。本文首先从理论推导的角度得出帧内容特性与码率之间的关系。然后提取出反映帧内容特性的参数，建立一种更有效的帧层码率分配算法。实验结果表明，本文所提算法可以使帧层目标码率与编码码率保持更好的一致性，且重构视频质量平均提高了0.128dB。4.针对H.265/HEVC的帧间残差，提出了一种考虑变换系数依赖性的码率模型。码率模型的建立受信源特性和具体编码算法的影响。本文首先分析了帧间块内变换系数的分布情况，提出使用基于TU层的混合拉普拉斯概率模型来描述信源特性。其次考虑到变换系数之间存在依赖性，且这种依赖性被用于CABAC中，因此提出使用互信息量来衡量CABAC编码后不确定性的减小量，最终利用条件熵来预测帧间残差系数的编码码率。实验结果表明，本文所提的码率模型具有高的准确性。此外本文所提模型可以扩张到其他使用CABAC编码的视频编码器中，用于码率模型的设计。5.针对客观质量，提出了一种考虑丢包内容特性的无参考质量测度模型。丢包是引起网络语音质量下降的主要因素，其影响程度不仅与丢失包的个数有关，而且与丢失包的内容特性有关。首先利用话音激活检测技术和未丢帧的电平来判断丢失包的内容特性，然后统计语音包的丢失率，进而提出一种无参考的网络语音质量评价模型来预测网络失真语音质量。实验结果表明，相比于国际标准G.1070中的语音质量评价模型，本评价模型与主观质量评价的相关性平均提高了8.4%。