论文部分内容阅读
近年来,立体视频凭借其强烈的真实感、突出的交互性逐渐进入了家庭和大众娱乐市场。随之而来的是,三维电影在各大影院纷纷上映,以迅猛之势占据了电影产业的制高点;三维电视(Three-dimensional television,3DTV)逐渐取代高清电视(High Definition Television, HDTV),成为电视领域的先锋引领者。多视点视频、自由视点视频的最大特点是具有极佳的用户交互性,比如,观众可以根据自己的喜好自由选择观看的角度。在这一类视频应用中,多个视点的视频信息是必不可少的,并且视点的数量是决定视频效果的关键因素。但同时这也对网络带宽和摄像成本提出了严峻的挑战。因此,虚拟视点合成方法的重要性日益凸显。在众多已有的视点合成方法中,基于深度图像的渲染(Depth-image-based rendering, DIBR)是一种典型且有效的方法。它是在已知参考视点彩色图像及其深度信息的基础上,通过三维图像变换来绘制虚拟视点图像的方法。它凭借较低的复杂度、较高的渲染质量等优点,成为视点合成领域的研究热点。近几年,经过众多研究者的努力,目前已有一些较好的科研成果。然而,视点合成的质量仍然受到一些问题的限制,如伪影问题、重叠问题、重采样问题、空洞问题等。只有更好地解决这些问题,才有可能获得高质量的虚拟视图,从而获得令人满意的视觉体验。针对DIBR中常见的几个问题,本文分别基于空域和空时域相结合两个方面,提出了两种不同的方法来改进DIBR方法,分别是基于逆向映射和加入深度信息的图像修复算法的DIBR方法以及基于双向映射的空时域相结合的DIBR方法。第一种方法提出利用逆向映射获得虚拟视图并使用改进的图像修复方法进行空洞填充。该方法用逆向映射取代了传统的正向映射,巧妙地解决重叠、重采样问题;提出一种改进的加入深度信息的图像修复方法,有针对性地选择背景信息对空洞区域进行填充,其中的改进包括优先级计算公式的优化以及最佳匹配块搜索原则的改进,前者可以确保获得一种最佳的修复顺序,后者则是提高空洞填充准确性的关键步骤。第二种方法提出利用空域与时域相结合的方式实现更准确有效地空洞填充。该方法在传统的基于空域信息的补洞方法的基础上,加入了时域信息作为参考,因此可以获得更高质量的虚拟视图;而相较于其他的空时域相结合的视点合成方法,该方法并没有对整个背景信息进行复原,而是针对空洞区域进行反向搜索,定位目标区域,实现有针对性的背景复原,从而大大降低了算法的数据量和复杂度。进行背景复原后的目标区域可以用于填充虚拟视图中的部分空洞,而剩余的空洞则可以使用方法1中提出的图像修复算法进行填充。实验结果表明,无论是在主观效果上,还是在客观评价上,通过上述两种方法获得的虚拟视图都是令人满意的。