论文部分内容阅读
随着计算机、通信及网络技术的发展,立体视频技术已经成为当今多媒体处理领域的研究热点。相对于传统的二维视频,立体视频增加了景物的深度信息,增强了视觉的现实感和逼真感,具有极其广阔的应用前景,其应用包括立体视频会议、立体数字电视(3DTV)、远程工业控制、远程医疗等。 与二维视频相比,立体视频的数据量更加庞大。为了提高编码效率,立体视频编码方案大多采用时间空间视点间的预测机制,来有效消除时域、空域以及视点间的信息冗余。这种高度压缩后的码流对差错非常敏感,当压缩码流在恶劣的环境下(如无线信道、互联网等)进行传输时,经常会发生误比特、丢包等传输差错。一旦出现差错,不仅会影响当前帧和当前视点后续帧的正确解码,而且由于立体视频编码采用了视差估计来消除视点间的冗余信息,还会严重降低另外一个视点后续帧的解码质量,出现黑块、马赛克、闪屏、停顿等现象。因此,开展针对立体视频误码恢复技术的研究具有重要意义。 为此,本文基于JMVC(JMVC,Joint Multi-view Video Coding)立体视频编码框架,开展了立体视频误码恢复技术的研究。在本文工作中,对于独立编码视点的误码采用传统二维视频误码恢复算法进行错误的隐藏,而对于非独立编码视点中出现的误码,本文分别提出了三种算法进行误码恢复,具体包括: 1、提出了一种基于编码模式的JMVC立体视频宏块恢复算法。对于非独立编码视点的宏块丢失,该算法通过对丢失宏块参考块的编码模式进行统计分析,将丢失宏块划分为平滑块和纹理块两类,平滑块采用改进的边界平滑度进行误码恢复;纹理块则利用相关的像素绝对差值进行最优矢量的选择及其他信息的重建。实验结果表明,与时域替代法和立体JM算法相比,本章算法可以将重建视频的峰值信噪比值(PSNR,Peak Signal to Noise Ratio)平均提高2 dB左右,并具有较好的主观质量。 2、提出了一种基于视点间映射的JMVC立体视频宏块恢复算法。对于非独立编码视点的宏块丢失,该算法利用不同视点间的映射原理,通过像素匹配算法得到丢失帧前一帧的视差矢量场,与独立编码视点运算得到的前向矢量结合,建立针对丢失帧的矢量集,进而得到丢失帧的信息映射表,结合滤波处理,最终重建视频丢失信息。实验结果表明,与时域替代法和立体JM算法相比,本章算法可以将重建视频的PSNR值平均提高2.2 dB左右,并且主观质量具有较大优势。 3、提出了一种基于运动特征的JMVC立体视频整帧恢复算法。对于非独立编码视点的整帧丢失,该算法首先对丢失帧前一帧的预测模式进行统计分析,根据其预测模式特点将丢失帧分为线性运动帧与非线性运动帧两类,然后建立独立编码视点及非独立编码视点的矢量差值场,按照丢失帧的类别进行分类的补偿,线性运动帧利用非独立编码视点的矢量差值场进行误码的补偿;非线性运动帧求取视点间视差场,将独立编码视点的矢量差值场映射到非独立编码视点,对丢失信息进行恢复。实验结果表明,与帧间拷贝法和运动区域算法相比,本章算法可以将重建视频的PSNR值平均提高3 dB左右。