论文部分内容阅读
三维(Three dimension,3D)视频能给观众带来更高的逼真度和身临其镜的沉浸感,越来越受到用户的欢迎和青睐。多视点视频加深度是当前3D高效视频编码(3D video coding based on the high efficiency video coding,3D-HEVC)所采用的主要编码格式,它通过虚拟视点合成技术将压缩传输后的有限个视点的信息在解码端进行拓展,降低了传输信息量。压缩后的多视点码流在传输中因网络阻塞和噪声干扰等原因会出现某些数据包丢失的现象,导致解码端出现图像块丢失,甚至传输图像整帧丢失。如果多视点视频在传输过程中发生错误或丢包,在解码端不但重建的图像会产生不同程度的失真或缺损,而且利用视点合成技术进行拓展的绘制视点图像均会受到影响。因此,对多视点加深度视频进行差错控制是必不可少的,而解码端错误隐藏是差错控制的有效途径。如何更高效地利用各时空域及视点间的相关性来得到更加准确的运动矢量、视差矢量?如何通过这些运动、视差矢量更好地重建图像?以及如何利用深度视频帧对出错的整帧纹理图像进行精确重建都是多视点加深度视频错误隐藏的重要问题。本文在分析3D-HEVC关键技术和虚拟视点绘制技术的基础上,提出了面向3D-HEVC标准的多视点加深度视频错误隐藏算法,主要研究贡献如下:1.基于多视点视频序列视点内、视点间存在的相关性,并结合视点间运动矢量共享技术,提出了一种面向3D-HEVC编码中深度序列传输丢包的错误隐藏算法。首先,基于3D-HEVC的分层B帧预测结构和深度图纹理特征,将深度图丢失块分成运动块和静止块;然后,对于受损运动块,根据结合纹理结构的外边界匹配准则来选择相对最优的运动/视差矢量进行基于位移矢量补偿的错误掩盖,而对受损静止块采用参考帧直接拷贝进行快速错误隐藏;最后,使用参考帧拆分重组来获取新的运动/视差补偿块对错误隐藏质量较差的重建块进行质量提升。在不同类型多视点测试序列上的实验结果表明:本文算法隐藏后的深度帧平均峰值信噪比和结构相似度测量值均有明显提升,且修复区域的主观视觉质量与原始深度图更接近。2.利用深度图绘制技术(DIBR),提出一种面向3D-HEVC的整帧丢失错误隐藏算法。该算法基于3D-HEVC的分层B帧预测结构和虚拟视点绘制技术及其特点,首先利用单路正确接收视点的图像帧,对丢失的另一视点整帧图像进行绘制;接着,结合图像结构,对边界块的模糊失真进行基于时域信息的修补;最后,使用块联合运动判定法来决定图像块的后处理,对绘制后的静止块和运动块进行不同类型的基于像素的残差补足来再次提升重建质量。在不同类型的测试序列上实验结果表明:本文算法进行单路DIBR虚拟视点绘制的整帧丢失错误隐藏后可相对传统方法提升PSNR值1.99～6.75dB,SSIM值可提升0.0119～0.0547。修复后区域的主观视觉感知质量更佳,能很好地克服HBP结构中由于整帧图像运动矢量重建困难而造成的错误隐藏质量下降。