论文部分内容阅读
虚拟视点合成(virtual view synthesis)是指通过两个或多个摄像机视点上所得到的同一三维场景的图像,计算出本不存在的虚拟摄像机所拍摄的场景的图像。虚拟视点合成是计算机图形学领域和计算机视觉领域当前的研究热点之一,在虚拟会议、虚拟漫游、3D电视、远程手术等方面具有广阔的应用前景。本文提出一种虚拟视点合成方法,主要包括四个步骤:(1)特征提取:对左右视点图像进行特征提取,获得目标的特征点和特征表示。(2)特征匹配:对特征点进行匹配,获得左右视点图像中对应点的坐标信息。针对左右视点图形视角差较大条件下(视角差大于15度)无法获取准确点匹配结果的问题,本文提出一种层级化匹配算法,使用基于欧式距离匹配算法进行粗匹配,并引入因子化的图匹配算法作为细匹配。(3)基础矩阵计算:使用左右视点图像中对应点的信息和八点法计算出代表左右视点间的对极几何关系的基础矩阵。(4)视图变形:对左右视点图像进行图像校正、立体匹配、图像合成、后置变换和空洞填充等处理,合成虚拟视点图像,并对合成的图像进行邻域填充等处理以改善视觉效果。实验中,采用C/C++编程实现相关算法,并利用公共数据集(CMU house数据集)和所采集的人头图像和视频等进行实验。实验结果表明:现有视图变形算法对误匹配比较敏感,即使只有5%的误匹配都将较大地影响视图变形算法合成的虚拟视点图像的视觉效果。本文所提出的层级化匹配算法能够较好地提高匹配准确率,且使用层级化匹配的视图变形算法能够在实际应用中获得更好的视觉效果。基于本文所提出算法开发的系统能够满足实际应用中实时合成较理想的虚拟视点图像的需求。