高效视频编码标准(HEVC)是针对视频应用的多样化和视频高清化趋势而提出的新一代视频编码标准。HEVC采用了许多新的编码技术,包括基于四叉树结构的块划分技术、更加不同的帧内预测技术等。相对于以前的H.264/AVC编码标准,HEVC能够在相同的视觉质量下压缩效率提高约50%。但是,它是以计算复杂度的显著增加为代价的。HEVC采用率失真优化(RDO)技术,在输出的码率和编码的失真度之间进行平衡,从而确定最优的图像块的划分结构和最优的预测模式等。因此,RDO技术是影响HEVC视频编码的视觉质量和编码效率的关键因素。本文将从降低计算复杂度和改善率失真性能的角度,研究HEVC视频编码的RDO技术。具体地,本文的主要工作与创新点如下:首先,针对HEVC中RDO技术存在的计算复杂度过高的问题,提出了一个基于量化后的系数码率估计和失真估计的简化RDO技术的框架,加速其RDO技术过程。通过对量化后的DCT系数进行码率估计和失真估计,使其编码时跳过RDO技术标准框架中的熵编码、反量化和反变换等模块,显著降低了其计算复杂度。此外,通过使用Sobel算子计算图像边缘的梯度矢量值,并根据预测单元(PU)梯度矢量值的总和,对候选的帧内预测候选模式集进行筛选,从而确定帧内编码预测模式,可以极大地降低由于候选预测模式过多引起的巨大计算复杂度。实验结果表明,本文提出的方法可以极大降低HEVC的RDO技术和帧内预测算法的复杂度。其次,对于RDO技术的失真度准则,提出了一种结合结构相似度(SSIM)和平方误差和(SSE)的失真度测量准则。现有的RDO技术失真测度通常采用SSE,并不总是能符合人眼视觉系统。通过结合SSIM和SSE并纳入到RDO技术过程的视频失真估计,兼顾了SSIM对于边缘等纹理复杂区域的失真估计所表现出的良好性能和SSE对于平滑区域失真估计可以表现出的良好性能且所具有的计算简单的优势,进一步提高了编码后的感知视频质量。此外,考虑到HEVC编码时每个编码块的量化参数(QP)可能不同,提出了一种基于最优QP的拉格朗日算子,更好地平衡编码的失真度和输出的码率。实验结果表明,该方案相比于以往RDO技术的方案,可以获得更好的率失真编码性能和视觉质量。