论文部分内容阅读
目标跟踪技术是高级智能视频应用的关键基石。然而，由于现实场景复杂多变，现有的目标跟踪算法还难以有效应对。相比单摄像机系统，尽管多摄像机立体视觉系统能同时获取多个视角目标外观信息和场景立体信息，但如何有效利用多视角信息，如何有效确定目标位置并进行关联跟踪仍面临着巨大挑战。鉴于此，本论文以基于多摄像机立体视觉的目标跟踪算法为研究核心，主要研究了多视角目标信息在线学习方法和基于稀疏三维重建的行人检测与跟踪方法。此外，鉴于充分利用视频图像帧间区域关联信息有望提高跟踪性能，提出了结合帧间区域关联的目标跟踪算法，并将算法成功用于多摄像机中目标三维轨迹生成。主要创新点如下: (1)提出一种在线融合多视角目标信息的跟踪算法。在已标定的多摄像机系统中，为有效融合各视角目标外观信息，同时避免不同视角特征干扰，提出一种在线协同加权多示例学习方法。此外，若系统摄像机数目超过两台，将出现目标三维位置信息冗余，针对该问题提出一种改进的概率数据关联滤波器，有效融合了目标外观和三维位置信息。最后，利用二维图像上的Kalman滤波器预测位置和三维映射位置共同约束相应视角的粒子滤波器，最终确定各视角目标位置。通过融合多视角目标信息，该算法性能较现有跟踪算法有了较大提升。 (2)针对短基线双目视觉系统，提出一种基于稀疏三维重建信息的多行人目标检测与跟踪算法。算法以左右视图中抽取的稀疏特征点对为输入，将检测跟踪问题转换为离散点聚类和聚类关联问题。针对各时刻目标数目不确定问题，提出一种结合人体黄金分割比、人体肩宽和特征点光流信息的离散点聚类方法，有效实现了行人检测。对于此种情况下的多目标跟踪，提出一种改进的联合概率数据关联滤波器，通过双门限和目标直方图改进有效矩阵构建方法，并将光流信息引入关联概率计算，大大提高了多目标关联的准确性。 (3)提出基于分水岭分割和核约束的CAMShift(Continuously Adaptive Mean Shift)跟踪算法。算法借助分水岭分割区域帧间关联和Epanechnikov核约束对传统颜色概率分布图做出修正，强化目标可能出现的区域。解决了传统CAMShift算法易受目标周围相似颜色干扰的问题。 (4)设计了一种基于图像分水岭分割和尺度不变特征变换(SIFT: Scale-invariantFeature Transform)特征点的多目标检测和跟踪算法。算法通过前后帧分水岭区域关联生成对应区域短时轨迹，利用运动目标轨迹的平滑性检测运动目标。为鲁棒跟踪目标，提出目标SIFT特征池的建立和更新方法，最后结合分水岭区域帧间关联、SIFT特征池匹配完成跟踪。此外，提出一种依据极线约束和目标外观信息相似匹配的双视角多目标检测与关联方法，将各视角目标检测与跟踪结果成功融入多摄像机系统中。 经实验验证，本论文提出的相关算法能较好克服目标遮挡、场景光照变化、阴影干扰等挑战，鲁棒跟踪目标。