随着多媒体应用和立体显示技术的快速发展,3D视频正变得越来越流行。新一代多视点纹理加深度（MVD）的3D视频表示格式也成为了主流。为了高效地压缩MVD格式的3D视频,在最新一代高效视频编码标准HEVC基础上,制定了3D-HEVC标准。由于引入了多个不同视角所拍摄的多路视点和深度图,在3D-HEVC标准中开发了许多新的视点间预测技术和深度图编码工具。这些新的技术和工具极大提升了多视点视频的编码效率,但是也给多视点视频编码的率失真性能优化和编码复杂度降低带来了新的挑战。率失真理论是视频编码的理论基础,对高效的多视点编码器设计具有重要的指导作用。本文基于率失真优化理论对3D-HEVC标准技术优化展开了相关研究,优化了多视点纹理视频编码中码率控制的视点间码率资源分配和相关视点的失真-码率权衡,以及简化了多视点深度视频编码。首先对多视点纹理视频的码率控制展开了研究,实现了多视点码率控制的最优视点间资源分配,提升了多视点码率控制的率失真性能。首先,考虑到视点间预测技术将基础视点中的失真直接传导到相关视点,建立了多视点纹理视频联合率失真模型。基于提出的多视点纹理视频联合率失真模型,推导了一种指数模型来表示基础视点和相关视点之间的目标码率关系。其次,通过分析P-DV和I-BV平均消耗码率比与相关视点和基础视点的最优目标码率比之间关系,设计了一种线性模型准确地分配相关视点中P帧的目标码率。最后,通过考虑时空相关性,提出一种新的基于皮尔逊相关系数加权的R-λ模型参数预测方法。然后对多视点纹理视频中相关视点的失真-码率权衡展开了研究,提出了高效的拉格朗日乘子选择方案,改善了相关视点的率失真性能。首先,基于提出的多视点纹理视频中相关视点的率失真模型,针对B帧推导出了一种高效的拉格朗日乘子决定算法,利用相关视点中通过视点间预测的PU比率来准确地预测B帧拉格朗日乘子的量化因子。然后,针对P帧设计了一种依赖于视点间相关性的拉格朗日乘子的最优量化因子,建立了一种线性模型来呈现最优量化因子与I-P帧视差之间的关系。最后对深度图帧内快速编码算法展开了研究,显著地降低了深度帧内编码的复杂度。首先,利用基于视点合成优化的率失真代价特征,提出了基于率失真代价的最大深度层决定算法去准确预测每个CTU的最大分割深度层。通过研究在不同最大分割深度层下CTU在深度层0处得到的最小率失真代价J0的频率分布特征,在可容忍的误判率下构建出CTU最大分割深度层的初始阈值。建立了一种指数模型呈现设计的初始阈值和QP之间的关系,来最终决定CTU最大分割深度层的阈值。其次,提出了基于率失真代价和空间相关性的快速预测模式决定算法。考虑到空间相关性,在不同的最优预测模式下,分析了在粗预测模式决定阶段中最小率失真代价JORM的频率分布特征。基于JORM的频率分布特征,设计了一种与QP呈指数关系的模式跳过阈值THst去跳过角度模式和DMM模式。最后,提出了基于K-Means的快速楔形模板搜索算法,加速DMM1模式的预测过程。综上所述,本文基于率失真优化理论,利用视点间失真传导,推导出多视点纹理视频的相关视点率失真模型,进而构建了多视点纹理视频联合率失真模型。基于此,在多视点视频编码的码率控制中实现了最优的视点间码率分配,以及优化了相关视点的失真-码率关系权衡,提升了多视点视频编码的率失真性能。同时,基于视点合成优化的率失真代价的研究降低了深度图编码复杂度。本文的研究成果提升了现有3D-HEVC编码标准的编码性能和降低了它的编码复杂度,可以应用于多视点视频的实时编码和传输。