面向多视点视频系统的立体匹配与虚拟视合成技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:lym50691064
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们对视频服务要求的不断提高,传统单路视频所提供的简单视觉信息,已经不能满足人们对于真实场景立体视觉体验的需求,多视点视频技术应运而生。多视点视频系统可以提供场景或者事物不同角度、不同层面的信息,通过合成技术生成全方位的立体视觉,重现自然世界的三维本质,同时实现了与用户之间的交互性。为了使用户能在一定视角范围内无缝地自由选择视点,我们需要使用虚拟视合成技术从摄像机拍摄的不同真实视点的视频序列去生成所需要的虚拟视点场景。其中,视点问的立体匹配是虚拟视合成的关键技术之一,也是决定虚拟视合成图像质量和视点切换流畅性的主要因素。   本文的研究目标是提出一种高匹配精度的立体匹配算法,使之适用于现实中复杂多对象场景的虚拟视合成,达到高质量的图像、视频合成效果。主要研究成果如下:   第一,提出了一种基于颜色分割和自适应权重窗口(ASW)的立体匹配算法,提高了相邻视点匹配精度和虚拟视点合成图像质量。   (1)算法首先对输入的相邻视点图像进行颜色分割,使用自适应权重窗口求得初始视差分布,利用交叉检测对遮挡区域进行探测,然后在颜色分割块上进行视差平面拟合,经过视差修正得到最终的像素匹配关系。   (2)该算法融合了基于颜色分割和基于局部加窗的立体匹配算法的优点,在国际通用的立体匹配算法测试平台——Middlebury标准测试平台上表现良好,匹配精度高,可与基于全局优化的立体匹配算法相比拟。使用该算法进行图像的虚拟视合成,合成图像质量高,未出现明显畸变和失真。   第二,实现了一个基于视图变形(View Morphing)技术的交互式自由视点视频系统。该系统面向复杂的真实场景,可由用户任意指定视点,实现一定视角范围内视频和图像的虚拟视合成。另外,在此系统平台上研究了基于动态规划(DP)、四状态DP(4-State DP)和自适应权重DP(ASW DP)三种立体匹配算法。实验结果表明基于DP立体匹配算法的视频合成可以达到实时处理,但合成图像质量较低;而基于4-State DP和ASW DP的合成效果较好,但计算复杂度高,适合于要求高质量虚拟视合成的离线系统。
其他文献
机群是一组协同工作的独立计算节点的集合,作为一个整体对外提供计算资源和服务。大规模数据中心一直是机群应用的重要领域。随着社会信息化程度的不断提高,数据中心开始在商业
在计算机技术发展过程中,模拟一直是一个重要的工具。模拟器是运行在一个平台上的特殊程序,它模拟了另外一个平台所具有的特征。模拟器由于其灵活性,被广泛用于体系结构研究、系
码流错误检测与恢复技术一直是数字信号在信道中传输的研究热点,围绕AVS视频解码容错系统方案,本论文的结构安排如下:   第一章为绪论。   第二章对视频编解码标准的发展
视频是集图像、声音、文字等为一体的综合性媒体。随着互联网技术的发展和网络带宽的提升,网络视频数据量呈爆炸式增长,从浩瀚的视频数据库中检索感兴趣的资源,传统的基于关键词
随着数据通信与多媒体业务需求的发展,研究城市场景室外信号传播特性,建立有实用意义的信号传播模型,能够为无线通信系统设计提供依据,从而提高和改善特定区域的信号覆盖能力。传
二十世纪九十年代以来,数字视频压缩技术被广泛应用于通信、个人计算机、广播电视、消费电子等领域,堪称数字媒体产业的最核心技术之一。以MPEG-2为代表的信源编码标准获得了巨
目前,数字视频编解码技术发展非常迅速。越来越多的新技术被纳入到新的编解码标准中。国际上的H.264以及我国自主开发的AVS就是其中两个最新的标准。H.264标准同MPEG-4 ASP以
机器学习方法通常分为有监督学习和无监督学习。分类器是有监督学习中的研究热点之一,子空间分割是基于子空间学习的聚类方法,属于无监督学习。机器学习的研究对象是数据,而涉及
射频识别(Radio Frequency Identification RFID)中间件是RFID技术和企业级应用程序的桥梁,RFID中间件主要功能包括:采集并解析RFID读写器数据:有效的过滤冗余数据:根据应用程序
无线传感器网络是一种新兴的信息获取技术,可应用于工农业控制、生物医疗、环境检测等诸多领域。路由协议是无线传感器网络底层支撑技术之一,对路由协议的研究具有重要意义。对