在视频采集设备和显示设备都呈日新月异发展的大背景下,处于视频传输中间阶段的视频编码技术正面临着越来越大的压力,面向高清视频的最新一代视频编码标准高性能视频编码(High Efficiency Video Coding, HEVC)相比前一代编码标准H.264/AVC在相同的主观质量下可以带来一半的码率节省,可以一定程度上缓解视频编码面临的压力,但是针对目前的需求仍然远远不够,如何在高性能视频编码的基础上充分利用带宽以及进一步提高编码性能是目前面临的关键挑战。一般来说,最优的比特分配以及精确的码率控制是实现带宽有效利用的关键技术。大多数的传统方法都是基于量化参数来进行码率控制和比特分配,但是由于在HEVC中,头信息所占的比特数大幅度增加,所以基于量化参数的传统方法并不适合于HEVC。最新涌现出来了一种基于拉格朗日常数入的码率控制方法可以很精确的控制码率,但是目前并没有最优的比特分配方法与之相匹配,而且对于高性能视频编码可伸缩扩展是否适用也需要仔细研究。另外,从编码性能的角度,在高性能视频编码中也仅仅使用了平移运动模型,所以最新的视频编码标准也仍然无法有效的刻画非常复杂的运动,而复杂的运动又往往是视频中最消耗比特数的部分,因此在高清视频编码上如何有效的引入更高阶的运动模型以更好的刻画复杂运动同样也是非常关键的一个问题。大多数传统的高阶运动模型方法都无法在编码性能以及编解码复杂度这两方面找到一个平衡,所以高阶运动模型迟迟没有进入视频编码标准的范畴。本文试图从以上两个方面进一步提升有限带宽下的视频质量。一方面尽量在HEVC尽量实现最优的比特分配和精确的码率控制,以实现带宽的更有效利用,另一方面引入高阶运动模型实现视频中复杂运动的更好刻画,以进一步提高编码效率。论文的主要工作和创新如下：(1)本文针对HEVC的λ域码率控制方法提出了一种最优比特分配方案。首先,本文提出了一个完整的λ域R-D分析框架,除了现有工作中的R-λ模型用来表示R和λ之间的关系,本章提出了一个全新的D-λ模型来表示D和λ之间的关系。其次,本文基于此完整的λ域R-D分析框架和基本的R-D优化理论提出了一种与内容相关的最优图片级比特分配算法。再次,本文基于完整的λ域R-D分析框架和基本的R-D优化理论同时提出了与内容相关的基本单元级比特分配算法。实验结果表明,本文提出的为HEVC设计的最优比特方案相比传统方法可以实现明显率失真性能提升。本文提出的图片级以及基本单元级比特分配算法被国际标准化组织JCT-VC接受且集成进入了HEVC参考软件。(2)本文针对HEVC可伸缩扩展提出了一种最优的码率控制方案。首先,本文为可伸缩视频编码每一层的第一帧提出了一种最优的初始目标比特数以及初始编码参数决定算法以实现更好的R-D性能。其次,本文基于根本的率失真优化理论联合考虑层内和层间的依赖关系为空间和质量可伸缩的帧间图片设计了一种最优比特分配算法。最后,本文提出了一个针对R-λ模型的自适应更新算法来精确的估计码率控制模型参数以实现更好的码率控制精度。实验结果表明,本文提出的为HEVC可伸缩扩展设计的码率控制方案相比传统方法可以在精确的码率控制下显著提高率失真性能。(3)本文针对HEVC提出了一种低复杂度仿射运动补偿框架以更好的刻画复杂运动。首先,本文提出了一个支持多参考帧的四参数仿射运动补偿框架。其次,本文提出了两种决定仿射运动矢量的方式：先进的仿射运动矢量预测模式以及仿射模型融合模式：特别地,与先进的仿射运动矢量预测模式相结合,提出了一种基于梯度下降的快速仿射运动估计算法。最后,本文提出了两个工具以减少复杂的仿射运动补偿带来的编解码复杂度,其中一个是一步子像素插值滤波器用于减少插值分像素需要的插值次数；另一个是基于仿射插值精度的自适应块大小运动补偿用于尽量提高运动补偿块的大小从而减小运动补偿的复杂度。实验结果表明,本文提出的仿射运动预测技术可以显著提高包含旋转和缩放等复杂运动的视频的编码性能。本章提出的仿射运动补偿框架被集成进入JEM参考软件。