本文主要对单目标的视觉跟踪算法进行了研究。视觉跟踪算法可以分为特征提取、目标模型、搜索策略、模型更新四个模块。跟踪算法中如何建立起能适应目标外观变化又不引入背景干扰的模型是跟踪算法设计的关键。本文在目标的建模上采用了三层结构。第一层目标被一个ORB特征点集合表示。在第二层,目标被分为若干个局部区域(patches),每一个局部区域被一个HSV颜色直方图表示,每一个局部区域的位置由粒子滤波算法确定,并用超图匹配算法对位置进行优化,以适应目标的形变和遮挡。在第三层,本文维护一个朴素贝叶斯分类器,该分类器描述了目标的全局颜色特征,并利用时空上下文信息消除背景的影响。三层模型互相补偿,以适应跟踪过程目标的外观变化。每个成功匹配的局部特征都单独决定了目标在新一帧中的可能的一个位置,将所有可能的位置做聚类,即可求出目标在新一帧中的位置。通过三层目标模型的交互,模型不断地适应目标外观的变化的同时,能避免背景干扰。为了验证本文提出的跟踪算法性能,本文在公共测试数据集上做了大量的测试,并对比了近年来一些优秀的跟踪算法。实验结果证明了本文所提出算法的有效性。