视频追踪是计算机视觉中一个基础性的工作，在运动分析，视频监控，工业控制等方面有着很多应用。近几年许多学者做了很多工作，但现实的视频序列中存在严重的遮挡、光照变化、物体姿势变化和杂乱的背景等，这使得视频追踪依然是一个有挑战性的工作。本文在粒子滤波框架下提出了一个鲁棒的在线物体追踪模型。　　首先，我们利用低秩特征构建一个局部字典，每个候选目标可以表示为局部字典的稀疏表示。其次，为了能有效地表示目标物体的表观变化，我们提出了一个L0正则化的稀疏编码模型来增量地学习低秩特征，同时利用低秩特征增量地更新局部字典。最后，为了能使我们的模型具有实时性，我们提出了一个数值算法有效地解决了文中的非凸优化问题。相比于直接利用被污染的物体来构建字典的方法，我们基于低秩特征的字典有效地排除了遮挡，可以准确地表示目标物体的本质结构。同时，与传统的基于整体的方法不同，我们的局部策略包含了丰富的局部信息和结构信息，有效地增强了观测模型的区别能力。更为重要的是，基于硬稀疏编码的L0范数能成功地排除冗余信息，可以更好地表示目标物体的本质低秩特征。为了验证我们方法的有效性，我们在遮挡、光照变化、姿势和尺度变化、快速运动、背景混杂等多种视频序列上进行实验，实验结果表明，我们的方法在多种有挑战性的视频序列上都能够取得值得称赞的实验结果。