多视点视频编码中容错技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:ldbeight
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,由于在自由视点电视和三维电视等三维视频中的广泛应用,多视点视频编码技术研究受到了更多的关注。多视点视频是指同一时刻从不同角度的摄像机采集的同一场景的视频序列,它是构成三维视频的基础。多视点视频通过提供某一事物或场景的不同角度信息,可以为用户提供全方位的立体视觉。但是传输网络的传输不可靠性往往会造成多视点视频信息的损失,一方面,视频压缩数据传输丢失,可能会导致多视点视频所表达的某一角度或某一层面的视频信息丢失,无法展现多视点视频所提供的全方位多元化视觉信息。另一方面,由于多视点视频编码中不止有时间域预测,还有视间域预测,由预测编码带来的错误累积现象会比传统的单视点视频编码更加严重。因此鲁棒的多视点视频传输成为多视点视频编码的技术性挑战。  本文围绕多视点视频编码容错技术展开研究,目的是为多视点视频编码建立一套完整的从编码端到解码端的容错编解码框架体系。因此,本文对基于块丢失的多视点错误隐藏,多视点整帧错误隐藏以及多视点容错率失真优化技术等方面进行了深入的研究。本文的具体研究内容如下:  1.针对多视点视频局部区域传输丢失,提出了一项基于重叠块运动视差补偿(OBMDC)的多视点错误隐藏技术。与传统基于单视点的错误隐藏技术不同,该技术将多视点视频中特有的视间域相关性引入到多视点视频错误隐藏中。首先,本文既利用了丢失宏块邻域区域的运动矢量,也利用了丢失宏块邻域区域的视差矢量恢复丢失或受损的运动或视差矢量。然后通过本文提出的OBMDC技术重构丢失宏块,其中OBMDC技术中的权重取决于边界匹配准则和视点。实验结果表明,相比于传统时间域错误隐藏技术,本文所提出的基于OBMDC的多视点错误隐藏技术的错误隐藏性能有较大提高。  2.针对视频局部区域传输丢失,提出了基于时间域自回归(AR)模型的单视点错误隐藏技术和基于时间-视间域自回归模型的多视点错误隐藏技术。本文提出的时间域AR模型包括应用于P条带的前向AR模型和应用于B条带的双向AR模型。首先,利用边界匹配算法(BMA)为丢失块选择最合适的运动矢量。然后,利用邻域宏块像素和其由最优运动矢量指向的时间域相关像素,训练时间域 AR模型系数。最后,应用时间域AR模型,丢失块内每个像素都被重构为以最优运动矢量所指向的时间域参考帧中相关像素的加权和。本文提出的时间-视间域AR模型包括应用于独立编码视点的时间域AR模型和应用于视间编码视点的时间-视间域AR模型。首先推导出最合适的运动矢量和视差矢量。然后,利用邻域宏块像素和其由最优预测矢量指向的时间域相关像素和视间域相关像素,训练时间-视间域AR模型系数。最后,应用时间-视间域AR模型,丢失块内每个像素都被重构为以最优预测矢量所指向的参考帧中相关像素的加权和。实验结果表明,该技术能显著提高视频解码的错误隐藏性能。  3.针对整帧视频区域传输丢失,提出了一种多视点整帧错误隐藏技术。相对于传统错误隐藏技术单一的运动矢量信息推导,本文提出了时间域运动信息推导,视间域视差信息推导,视间域运动信息推导和时间域视差信息推导四类信息推导。本文详细分析了四类信息推导方式的特点和适用范围,并在四类信息推导的基础上,形成了一个基于信息推导的多视点整帧错误隐藏方案。对于丢失帧的每一个块,都可以利用其时间域参考帧或视间域参考帧进行重构。实验结果表明,该技术能提高多视点视频的整帧错误隐藏性能。  4.针对多视点视频编码传输中的错误累积现象,提出了一种多视点容错率失真优化技术。该技术能抑制多视点视频编码传输中的错误累积现象,提高多视点视频的传输质量。首先,本文提出了视间更新技术,即按一定准则增加或减少视间预测比例,可以有效的抑制错误累积。进一步,本文提出了一种基于多视点视频编码的端到端失真估计模型,该失真模型同时考虑了网络传输环境,视间更新技术和解码端错误隐藏工具的情况。最后,应用该端到端失真估计模型,本文提出了一种多视点容错率失真优化技术为多视点视频容错编码进行视间预测模式,帧间预测模式和帧内预测模式的决策。实验结果表明,本文提出的多视点容错率失真技术能提高多视点视频传输的容错性能,抑制多视点视频传输中的错误累积现象。
其他文献
计算机和通信技术的迅猛发展,给现代的生活和工作带来很大改变的同时,对信息安全也提出了更高的要求。访问控制在信息安全中得到了广泛的研究和应用,并取得了很好的效果。使
随着互联网的急速发展,大多数消费者在决定购买某一产品前会阅读和依赖此产品的评论信息,因此网上产品的评论信息在电商网站中占有举足轻重的地位。为了利润与名誉,许多组织
裂缝作为路面破损的一种早期表现形式,及时将其检测出来并采取合理的修护措施,不但能使公路保持良好的服务状态,还能节约路面修葺成本。基于数字图像的路面裂缝无损检测技术,由于
多机器人的远程交互,拓展了人类的作业空间,在远程医疗、空间作业、工业合作生产等领域都有着广泛的应用前景。多机器人遥操作并不是简单的对单机器人遥操作的累加,多机器人
各种嵌入式技术、数字电子技术以及无线通信技术的飞速发展促进了无线传感器网络(Wireless Sensor Network,WSN)的发展,它使人们能够更加清晰的感知自然世界。无线传感器网络
随着软件产业的快速发展,基于SOC和SOA的分布式应用系统迅速抢占市场。在这个大环境下,因特网上Web服务数量正呈现急速增长的趋势。但是目前因特网上的服务大多都是孤立存在
随着世界经济快速发展和机动车辆迅猛增加,全球许多城市尤其是大中城市的车流量与日俱增,城市发展面临交通事故频发、交通拥堵等一系列交通压力,建立行之有效的智能交通系统成为
经过几十年的发展,图像检索与识别技术已经取得了一定的成果,并已广泛地应用于工业制造、金融、公安、司法、军事等领域。它们不仅速度快、效率高,而且还具有比人更胜一筹的
多值逻辑函数结构理论包括完备性理论、函数表示理论以及单向陷门函数,其中函数系完备性的判定是一个基本而重要的问题,也是自动机理论、多值逻辑网络中必须解决的问题,此问
处理器虚拟化是系统虚拟化的重要组成部分。随着现在系统虚拟化的发展,处理器也在从传统的不支持虚拟化到支持虚拟化架构改变。特别是对于当前已进入多核时代,为了支持系统虚拟