论文部分内容阅读
随着人们对视频服务要求的不断提高,传统单路视频所提供的简单视觉信息,已经不能满足人们对于真实场景立体视觉体验的需求,多视点视频技术应运而生。多视点视频系统可以提供场景或者事物不同角度、不同层面的信息,通过合成技术生成全方位的立体视觉,重现自然世界的三维本质,同时实现了与用户之间的交互性。为了使用户能在一定视角范围内无缝地自由选择视点,我们需要使用虚拟视合成技术从摄像机拍摄的不同真实视点的视频序列去生成所需要的虚拟视点场景。其中,视点问的立体匹配是虚拟视合成的关键技术之一,也是决定虚拟视合成图像质量和视点切换流畅性的主要因素。
本文的研究目标是提出一种高匹配精度的立体匹配算法,使之适用于现实中复杂多对象场景的虚拟视合成,达到高质量的图像、视频合成效果。主要研究成果如下:
第一,提出了一种基于颜色分割和自适应权重窗口(ASW)的立体匹配算法,提高了相邻视点匹配精度和虚拟视点合成图像质量。
(1)算法首先对输入的相邻视点图像进行颜色分割,使用自适应权重窗口求得初始视差分布,利用交叉检测对遮挡区域进行探测,然后在颜色分割块上进行视差平面拟合,经过视差修正得到最终的像素匹配关系。
(2)该算法融合了基于颜色分割和基于局部加窗的立体匹配算法的优点,在国际通用的立体匹配算法测试平台——Middlebury标准测试平台上表现良好,匹配精度高,可与基于全局优化的立体匹配算法相比拟。使用该算法进行图像的虚拟视合成,合成图像质量高,未出现明显畸变和失真。
第二,实现了一个基于视图变形(View Morphing)技术的交互式自由视点视频系统。该系统面向复杂的真实场景,可由用户任意指定视点,实现一定视角范围内视频和图像的虚拟视合成。另外,在此系统平台上研究了基于动态规划(DP)、四状态DP(4-State DP)和自适应权重DP(ASW DP)三种立体匹配算法。实验结果表明基于DP立体匹配算法的视频合成可以达到实时处理,但合成图像质量较低;而基于4-State DP和ASW DP的合成效果较好,但计算复杂度高,适合于要求高质量虚拟视合成的离线系统。