目标跟踪技术广泛用于智能视频监控、人机交互、智能交通以及医学辅助诊断等,具有重要的研究和应用价值。最近十年间取得了突破性进展,产生了各类新颖的算法,但是在实际应用中还面临各种各样的挑战。主要原因在于实际复杂的应用环境,目标姿态改变、尺度变化、快速运动等自身因素以及光照条件变化、遮挡、相似背景干扰等外界因素都对准确的目标跟踪构成挑战,此外实际应用对实时性的需求给目标跟踪算法的设计增加了难度。针对各种各样的复杂的场景以及实时性需求,本文重点从外观模型的构建入手,研究目标跟踪关键技术,具体而言,本文主要创新与贡献包括:(1)提出了一种应对光照变化的实时目标跟踪算法。光照条件变化是视觉目标跟踪过程中最常见的环境变化因素,光照条件的变化往往造成目标外观的剧烈变化,因此如何应对光照变化是目标跟踪领域的难点之一。为实现光照变化情景下的鲁棒目标跟踪,本文从特征提取的角度,提出一种新型的图像特征-最大颜色差值直方图(Maximum Color Difference Histogram, MCDH)。该图像特征具有较好的光照不变性,并且能较好保持目标区域内显著特征信息,且可以方便扩展到其他颜色空间。根据该种特征具有多零值的特点,提出一种特定的相似度量-最小最大比率(Min-Max-Ratio, MMR),用于匹配目标模板直方图和候选目标直方图。为提高计算速度,引入局部积分直方图(Local Integral Histogram,LIH),在局部积分直方图区域内任意矩形区域的最大颜色差值直方图可以由常量时间计算而来,大大提高了计算效率。实验结果表明,本文提出的基于最大颜色差值直方图的跟踪算法具备良好的应对光照变化的能力,同时能够在一定程度上应对尺度变化、变形、遮挡等复杂场景。(2)提出了一种基于空间核多线索自适应外观模型的实时目标跟踪算法。为应对更为复杂的场景,基于检测来实现目标跟踪(Tracking-by-Detection)。但是传统的这类算法往往容易随着跟踪过程的推进,发生漂移问题。其中一个重要原因是这类算法对目标外观建模不够准确,这类算法大多使用矩形区域来表示目标,使用随机采样的Haar-like特征来对目标外观建模,很多情况下,从目标区域采集的Haar-like特征很可能包含了背景噪声,特别是靠近矩形边界的区域。另一个原因,出于实时性考虑,很多算法只用亮度信息,特征本身区分能力不足。基于以上两个问题,本文提出一种基于核函数的多线索自适应外观模型(Kernel based Multiple Cue Adaptive Appearance Model,KBMCAAM) :基于朴素贝叶斯框架,利用空间核函数降低外观建模过程中的背景噪声对目标模型的影响,同时利用多种图像特征,增加外观模型的区分特性。通过与多个主流算法的比较表明,本算法具有较强的准确性和鲁棒性,同时具备较好的实时性(在实验中约25帧/秒的处理速度)。(3)提出了一种基于融合整体信息的局部自适应外观模型的实时目标跟踪算法。基于目标分块的局部外观呈现方式由于对部分遮挡及变形的鲁棒性,在目标跟踪领域广泛采用。已有的基于分块局部自适应外观模型的跟踪算法普遍存在一个问题,即稳定性-弹性困境(Stability-plasticity Dilemma):跟踪算法需要不断更新来适应外观变化(富有弹性),但是这种更新由于跟踪结果不够准确而积累误差,最终发生漂移问题(不够稳定)。本文基于Tracking-by-Detection框架,通过多个弱分类器(基于Haar-like特征的局部呈现)构建一个强分类器,通过二值分类的思想将目标和背景区分开来定位目标。但是在训练弱分类器的过程中,正样本和负样本通过一个不变的外观模型-第一帧选择的目标的整体外观(颜色直方图,但不局限于颜色直方图)进行加权,每一个样本的权重等于样本与这个不变的整体外观的相似性。这样局部外观模型中融入了整体外观信息,在一定程度上解决了稳定性-弹性困境。实验结果表明,本文提出的算法对于基于局部自适应外观模型的跟踪算法的鲁棒性具有较大程度提高。(4)提出了一种基于判别视觉词袋自适应外观模型的鲁棒准实时目标跟踪算法。为适应更加复杂的应用场景以及在线跟踪样本量有限的约束,基于词袋模型(Bag-of-Words,BOW)使用无参数化的方法来构建外观模型。在目标跟踪领域,基于BOW的研究工作甚少。已有的基于BOW的跟踪算法,存在判别能力不足以及容易发生漂移的缺点。因此,本文提出一种新型的判别视觉词袋(DiscriminativeBag-of-Words,DBoW)模型。同时利用目标与背景信息,基于贝叶斯推理,使用无参数的方法来学习判别的外观线索,提高了模型的判别能力,有效避免了参数化模型的过拟合风险,克服了参数化模型潜在计算量大的缺点。同时,外观学习时,将特征到码字的距离编码到判别信息之中,进一步提高模型的判别能力。再者,提出一种自适应的词袋更新方法,保证了在定位不准确及遮挡情况下对目标外观的正确更新,很大程度解决了常见的漂移问题。基于候选目标与DBoW模型的最优匹配实现目标跟踪。利用广义的积分图像-积分通道的快速抽取特征的能力,实现了准实时的计算性能。最后,提出一种更为贴近实际应用的跟踪算法评价指标-平均最大跟踪帧数比率(Mean Maximum-Tracked-Frame Ratio,MTFR)。实验表明,本算法具备良好的处理非刚性变形、背景干扰、遮挡、快速目标运动等复杂场景的能力,与最新算法的对比中,展现了较好的鲁棒性、准确性及实时性。综上述,本文主要研究了目标跟踪最核心的技术-外观建模技术,围绕外观建模的四个关键子问题-目标模型信息来源、目标外观呈现方式、特征描述子选择、更新策略,通过提高外观模型的准确性、判别能力及学习能力来提高目标跟踪算法对各种复杂场景的适应性、鲁棒性。设计跟踪算法时,充分考虑实际应用的实时性需求,采取有效的设计手段提高其计算效率。实验结果表明,本文提出的各个模型同时具备较好的适应性、鲁棒性和实时性。