论文部分内容阅读
近年来,由于在自由视点电视和三维电视等三维视频中的广泛应用,多视点视频编码技术研究受到了更多的关注。多视点视频是指同一时刻从不同角度的摄像机采集的同一场景的视频序列,它是构成三维视频的基础。多视点视频通过提供某一事物或场景的不同角度信息,可以为用户提供全方位的立体视觉。但是传输网络的传输不可靠性往往会造成多视点视频信息的损失,一方面,视频压缩数据传输丢失,可能会导致多视点视频所表达的某一角度或某一层面的视频信息丢失,无法展现多视点视频所提供的全方位多元化视觉信息。另一方面,由于多视点视频编码中不止有时间域预测,还有视间域预测,由预测编码带来的错误累积现象会比传统的单视点视频编码更加严重。因此鲁棒的多视点视频传输成为多视点视频编码的技术性挑战。 本文围绕多视点视频编码容错技术展开研究,目的是为多视点视频编码建立一套完整的从编码端到解码端的容错编解码框架体系。因此,本文对基于块丢失的多视点错误隐藏,多视点整帧错误隐藏以及多视点容错率失真优化技术等方面进行了深入的研究。本文的具体研究内容如下: 1.针对多视点视频局部区域传输丢失,提出了一项基于重叠块运动视差补偿(OBMDC)的多视点错误隐藏技术。与传统基于单视点的错误隐藏技术不同,该技术将多视点视频中特有的视间域相关性引入到多视点视频错误隐藏中。首先,本文既利用了丢失宏块邻域区域的运动矢量,也利用了丢失宏块邻域区域的视差矢量恢复丢失或受损的运动或视差矢量。然后通过本文提出的OBMDC技术重构丢失宏块,其中OBMDC技术中的权重取决于边界匹配准则和视点。实验结果表明,相比于传统时间域错误隐藏技术,本文所提出的基于OBMDC的多视点错误隐藏技术的错误隐藏性能有较大提高。 2.针对视频局部区域传输丢失,提出了基于时间域自回归(AR)模型的单视点错误隐藏技术和基于时间-视间域自回归模型的多视点错误隐藏技术。本文提出的时间域AR模型包括应用于P条带的前向AR模型和应用于B条带的双向AR模型。首先,利用边界匹配算法(BMA)为丢失块选择最合适的运动矢量。然后,利用邻域宏块像素和其由最优运动矢量指向的时间域相关像素,训练时间域 AR模型系数。最后,应用时间域AR模型,丢失块内每个像素都被重构为以最优运动矢量所指向的时间域参考帧中相关像素的加权和。本文提出的时间-视间域AR模型包括应用于独立编码视点的时间域AR模型和应用于视间编码视点的时间-视间域AR模型。首先推导出最合适的运动矢量和视差矢量。然后,利用邻域宏块像素和其由最优预测矢量指向的时间域相关像素和视间域相关像素,训练时间-视间域AR模型系数。最后,应用时间-视间域AR模型,丢失块内每个像素都被重构为以最优预测矢量所指向的参考帧中相关像素的加权和。实验结果表明,该技术能显著提高视频解码的错误隐藏性能。 3.针对整帧视频区域传输丢失,提出了一种多视点整帧错误隐藏技术。相对于传统错误隐藏技术单一的运动矢量信息推导,本文提出了时间域运动信息推导,视间域视差信息推导,视间域运动信息推导和时间域视差信息推导四类信息推导。本文详细分析了四类信息推导方式的特点和适用范围,并在四类信息推导的基础上,形成了一个基于信息推导的多视点整帧错误隐藏方案。对于丢失帧的每一个块,都可以利用其时间域参考帧或视间域参考帧进行重构。实验结果表明,该技术能提高多视点视频的整帧错误隐藏性能。 4.针对多视点视频编码传输中的错误累积现象,提出了一种多视点容错率失真优化技术。该技术能抑制多视点视频编码传输中的错误累积现象,提高多视点视频的传输质量。首先,本文提出了视间更新技术,即按一定准则增加或减少视间预测比例,可以有效的抑制错误累积。进一步,本文提出了一种基于多视点视频编码的端到端失真估计模型,该失真模型同时考虑了网络传输环境,视间更新技术和解码端错误隐藏工具的情况。最后,应用该端到端失真估计模型,本文提出了一种多视点容错率失真优化技术为多视点视频容错编码进行视间预测模式,帧间预测模式和帧内预测模式的决策。实验结果表明,本文提出的多视点容错率失真技术能提高多视点视频传输的容错性能,抑制多视点视频传输中的错误累积现象。