目标跟踪研究作为计算机视觉领域的重要分支在现实中的应用十分广泛,伴随着应用需求的增广,目标跟踪技术也从单模态拓展至多模态,即利用多传感器协同跟踪目标。热红外模态凭借其稳定、应用广的特点成为多模态跟踪的热门选择,RGB-T跟踪是利用可见光（RGB模态）和热红外（T模态）成像的独特优势,在面对光照影响、天气干扰、成像能力限制等问题时进行鲁棒的目标跟踪。目前成对的多模态数据规模有限,且跟踪场景具有一定的复杂性,需要跟踪框架对遮挡、模糊、形变等多种干扰进行适应。而且面对成像条件限制的情况,合理利用多模态信息间的异同点才能有效发挥多模态的协同作用,增强跟踪能力。为了解决上述问题,本文就如何在稀疏表示框架中引入多模态数据并将各模态的特性充分发挥这一问题展开研究,主要工作内容包含以下两个方面:第一,提出了基于马尔科夫过程的粒子采样方法。当前的传统目标跟踪往往使用粒子滤波方法对目标位置、尺度等属性进行估计,采样所满足的分布一般是固定的。对于大尺度、快速运动的目标,这种采样方法可能会限制跟踪精度,对于小目标来说,大范围采样不仅浪费算力还容易引入偏差。所以本部分工作基于目标的运动属性和观测先验知识,基于（隐）马尔科夫过程提出运动属性转移矩阵,对目标预测的重点区间进行计算。参照重采样方法,用采样的候选粒子数量比拟合转移概率分布。在此基础上,对候选粒子进行稀疏表示及跟踪。第二,提出了基于多模态相关的稀疏表示跟踪模型。多模态图像存在成像的差异性,并且在极端光照或热辐射干扰时,某一个模态可能存在失效的风险,提取怎样的目标特征并且如何利用模态之间的异同点增益跟踪效果是RGB-T跟踪的研究重点。针对以上问题,本文在一种可对齐的分块布局上进行稀疏表示,将提取的多模态特征通过目标字典映射为维数一致的稀疏向量。根据分块布局和时序关系描述模态间、模态内的一致性和时序相关性,构建基于重构误差和相关约束的目标函数,设计一种字典和模板的更新策略。在两个公开数据集上进行实验和分析,验证了基于采样和多模态相关的稀疏表示跟踪算法的有效性。