论文部分内容阅读
基于深度图的透视(Depth-Image-Based Rendering,DIBR)技术广泛应用于立体视频应用领域。基于深度图的透视技术使用已有的平面视频中的一个场景和对应的深度图像产生新的虚拟的视角图像。
但是在DIBR技术的实际应用中有一些不易解决的问题,比如出现空洞和产生虚拟图像的过程中消耗了巨大的计算量,以及缺乏有效的客观评价方法。
为了解决这些问题,我们在本文中提出了一种应用于立体三维电视(3DTV)新的先进的基于深度图的透视技术。提出的新的DIBR技术包含了一种新的深度图预处理方法和一种新的多方向外插填洞技术。在新的深度图预处理方法中,我们先后使用了两个平滑滤波器,不连续保留平滑滤波器和基于直方图的平滑滤波器。在新的填洞方法应用在复杂的非闭塞区域(空洞),我们使用领域像素的特征来估计纹理从而判断外插的方向。这样,我们既达到了满足了高视觉质量的要求也达到了在传输深度图过程中减少比特率的目的。此外,我们提出了一种新的客观测量方法用于有效地评价不同的DIBR技术。最后,为了面向实际应用,结合提出的DIBR技术,我们提出了应用于一种新的2D到3D立体视频转换技术。
实验结果证明在使用高质量深度图合成虚拟视角图像的过程中,提出的DIBR技术对比传统的DIBR技术提供更好的立体视频视觉质量。
本文着重研究DIBR技术中的深度图预处理和填洞算法部分,包括提出了一种用于有效的测量不同DIBR技术的客观评价方法,其主要工作如下:
1.在深入分析传统DIBR技术中的各种深度图预处理技术的基础上,提出基于直方图平滑的概念,阐明了使用提出的基于直方图预处理技术的可行性及优势,使用Matlab语言编写了包括提出方法在内的四种预处理方法。实验结果证明了DIBR技术预处理模块的正确性。
2.针对传统DIBR技术中的各种填洞方法的种种不足,根据真实人类视觉系统观看舒适度的特性,提出一种基于像素的动态L型模板估计的多方向外插填洞技术。该方法可以改善填补虚拟视图中较大空洞区域出现的背景纹理不匹配的缺陷,提高合成的虚拟视图图像质量。使用Matlab语言编写了包括提出方法在内的五种填洞方法。实验结果证明了DIBR技术填洞算法的正确性。
3.基于DIBR技术特点,从合成虚拟图像质量的角度提出了一种有效的用于比较不同DIBR技术的客观评价方法。该方法可以弥补了DIBR技术领域缺乏有效客观评测方法的缺陷,在保证采用相似强度滤波的深度图的前提下,通过对各种DIBR技术的合成图像质量进行比较来评价DIBR系统,同时证明了提出的DIBR技术的先进性。
4.面向3D立体视频实际应用的需求,提出一种基于块匹配深度估计和色彩分割产生深度图自动的2D到3D视频转换技术。该方法利用基于区域的色彩分割与块匹配深度估计技术产生深度图,结合提出的DIBR技术,自动将2D平面视频转化为3D立体视频。实验结果证明提出的转化系统获得令人满意的结果。