论文部分内容阅读
视频拼接技术利用摄相机视场间存在重叠区域的条件,完成视频帧的配准与融合,以获取大视场、宽角度的全景图像、并能保证实时处理。它能够有效解决单摄相机信息缺失,多摄相机信息信息冗余的问题,在城市视频监控、虚拟现实、远程会议等场景下被广泛使用。它既有图像拼接好的的质量效果,又需要满足实时性处理的要求。因此,视频拼接技术在计算机图像学与计算机视觉领域,受到国内外研究人员关注。拼接技术主要分为配准和融合阶段,本文主要研究基于特征的视频拼接中的配准阶段。视频配准阶段,传统使用基于图像的配准算法,往往将搜索区域指定为整幅图像,导致搜索区域过大、特征点过多,出现大量的无效特征点和误匹配得现象,特别是高分辨率图像,无法满足视频实时性要求;同时,粗匹配后的RANSAC提纯算法,在某些场景中,忽略匹配点对的几何特性,均采用随机采样策略,导致迭代次数过高。针对上述配准阶段存在的问题,所以本文主要研究内容包括以下4个方面:(1)提出了一种基于重叠区域的快速配准算法。针对平行式和聚集式相机设置方式,对相机位置与视场进行几何建模,根据重叠区域占相机视场区域的比例的关系,给出融合区域图像占相机图像的比例上界,缩小特征点搜索区域,减少无用特征点数量,加速配准过程。(2)提出了一种改进的RANSAC提纯算法。根据相机设置方式,考虑到匹配点斜率的几何特性;定义了特征点质量评估标准,进一步提纯匹配点对;为了保证算法的鲁棒性,引入斜率分组策略及判定规则。(3)使用GPU并行化技术加速了配准过程。根据CUDA编程模型的特点,对SIFT特征提取与匹配进行GPU并行化分析与实现,加快高斯金字塔构建、局部极值点检测,特征点方向梯度、特征描述符及RANSAC提纯的计算过程。(4)设计并实现了视频拼接系统。通过离线阶段计算参数,在线阶段完成融合的设计,将整个拼接系统划分为3个模块:预处理模块,配准模块与融合模块。实验中,在分辨率为1920x1680的相机上,测试本文研究的快速配准算法与加速策略对整个视频拼接的计算效果。