随着计算机技术的不断发展，高质量廉价视频采集设备的出现，以及自动视频分析需求的不断增加，基于视觉的目标跟踪在自动监控、视频检索、人机交互、交通监控以及视觉导航等领域得到了广泛应用。虽然研究者们针对不同类型环境与不同类型目标的跟踪问题提出了多种基于视觉的目标跟踪算法，但是基于视觉的目标跟踪算法仍然存在以下问题：由3D到2D图像映射时的信息丢失；图像受噪声干扰；目标运动模型较为复杂；非刚体的关节式目标形变；目标部分或全部遮挡；目标结构复杂；场景光照变化和实时处理等。这使得基于视觉的目标跟踪算法至今仍然是计算机视觉领域的一个研究热点。到目前为止学者们提出了多种目标跟踪算法。这些算法彼此间本质的区别在于对以下三个问题的解决方法：目标描述的选择问题；目标特征的选择问题；目标运动、外观、轮廓的建模问题。以上问题的答案取决于目标跟踪算法的具体应用环境。跟踪算法最大的挑战在于对目标外观变化的处理。本质的外观变化包括姿态变化、形状变化。而光照变化，目标被部分遮挡等引起的非本质变化不可避免的会引起外观变化。目标外观变化的恰当处理对实现跟踪算法的稳定性具有重要意义。因此，本文重点研究了跟踪算法的光照补偿问题，关节式目标跟踪问题以及多目标跟踪问题。本文研究工作的主要内容与创新点具体包括以下几个方面：(1)由于环境光照变化直接影响颜色直方图分布，因此，基于颜色直方图的Camshift（ContinuouslyAdaptive Mean-Shift）跟踪算法的跟踪效果必然会受光照变化的影响。在本文第二章中提出的应用光强补偿方法对检测图像进行光照自适应补偿的方法可有效的解决该问题。鉴于Camshift算法目标搜索的计算复杂性，应用金字塔算法和直方图PCA（Principal component analysis）分析方法对目标跟踪区域进行确定，此方法可有效的避免全局搜索计算。经过实验证明，光强自适应补偿的Camshift算法可有效的降低计算负担，增强目标跟踪的鲁棒性。(2)第三章针对关节式目标变化对子空间描述造成的影响，提出了一种基于增量学习关节式目标跟踪算法。该算法应用图割法和快速傅里叶变换对跟踪目标进行处理，可有效降低背景像素对目标描述的影响，避免了因目标位置对不准而造成的跟踪误差，对变换后幅度谱图像应用局部二值模式进行转换，并且在跟踪过程中将目标的多个局部二值模式图像进行奇异值分解和主元分析，从而实现对目标的子空间描述。该算法在粒子滤波框架下实现。实验结果表明本章提出的关节式目标跟踪算法具有较好的目标跟踪效果。(3)第四章针对基于颜色信息的粒子滤波目标跟踪算法可能收敛于局部极值点的问题，提出了一种应用局部区分度作为粒子权重描述的目标跟踪算法。该算法应用局部区分度信息对相似性目标进行检测，实现了多相似性目标跟踪。通过实验验证，该方法不仅能够实现单目标的有效跟踪，而且也可实现多相似的目标跟踪。(4)在目标跟踪中，针对固定目标模板描述方法随着环境条件的变化而不能准确的对目标进行描述的问题，第五章提出了一种跟踪目标模板自适应更新的多目标检测与跟踪算法。该算法以目标的颜色直方图和方向梯度直方图作为目标描述，应用卡尔曼滤波和高斯模型分别对颜色直方图和方向梯度直方图进行更新，同时将目标的混合描述作为多相似性目标的检测方法，实现多相似性目标的检测与跟踪。实际的目标跟踪实验验证了该方法的有效性。