论文部分内容阅读
随着计算机设备的不断完善以及计算机视觉技术的不断发展,作为计算机视觉的核心技术之一,平面物体跟踪技术成为计算机视觉学术研究的热点领域,并在增强现实,监视,机器人视觉等方面具有广泛的应用。虽然近年来平面物体跟踪技术有了非常大的进展,但在尺寸缩放,旋转,透视失真等外界条件影响下,平面物体的跟踪识别可能会出现不同程度的丢失或延迟。为此,本文对平面物体跟踪算法展开深入研究,主要工作如下:(1)考虑到在实际应用中,跟踪算法需要时刻面对复杂多变的环境,而且目前大多数的平面物体跟踪数据集是在室内环境拍摄,这种缺乏复杂背景的图像序列无法很好模拟自然复杂多变的环境。因此,本文构建了一个用于平面物体跟踪的数据集,包含40个物体,共280个在自然采集并带有标注的图像序列。其中每个物体包含7种运动状态:尺度变换、旋转、透视失真、运动模糊、遮挡、移出视野以及无约束运动。此外,为了减轻人工标注的工作量,提出了一个半自动的标注框架辅助人工进行标注,并使用校正误差评测了16种先进的平面物体跟踪算法,并分析每个算法的性能。(2)基于关键点的平面物体跟踪算法能够很好的适应复杂的场景。而基于SIFT的平面物体跟踪算法作为这类方法中经典的方法,具有良好的跟踪效果。但是这类方法仍存在错误匹配点较多,影响跟踪精度的问题。在此基础上,考虑到输入图像序列具有时序性,而光流法能够很好地利用这种时序信息。因此,将光流法与基于SIFT的平面物体跟踪算法进行融合,提出了基于关键点并融合光流的平面物体跟踪算法。实验证明,基于关键点并融合光流的平面物体跟踪算法相比现有的平面物体跟踪算法性能更优。在所构建的自然场景平面物体跟踪数据集下,校正误差阈值为5时,提出的方法的跟踪精度相较于经典的平面物体跟踪算法平均提高了3.8%。(3)将局部特征匹配的深度学习方法应用于平面物体跟踪任务中虽然能够取得良好的效果,但速度受输入图像中关键点个数的制约。因此,本文提出了基于全卷积神经网络的平面物体跟踪算法,该算法能够缓解关键点个数对跟踪速度的影响。该网络的输出特征映射与输入图像具有相同的大小。在训练的过程中,由于训练过程存在正负样本极度不均的问题,导致网络训练的困难。为了缓解这个问题,采用了难样本采样的方式对最难负样本进行采样,将采样后的正负样本送入损失函数,从而进行网络的训练。实验结果证明,与基于深度学习的平面物体跟踪算法相比,本文提出的算法在校正误差阈值为5时,提出的方法相较于MATCHNET提高了4.1%,不受输入图像中关键点个数对跟踪速度的制约且在速度上具有较大的优势,并且该方法在通用的平面物体跟踪任务中也取得良好的效果。