在过去的十几年里，目标跟踪系统已经得到了广泛的关注，其中基于视觉的目标跟踪系统尤为突出。然而，基于视觉的目标跟踪是非常具有挑战性的。例如，需要跟踪目标通常具有不同的速度、形状、尺寸、角度和颜色，目标的外观还受到目标的姿态以及它周围目标物的影响。同时，目标的遮挡和光照条件的不同也改变了目标的整个外观。 本文总结了多年来目标跟踪系统中所应用的基于视频的跟踪算法，并分析了各种跟踪算法的特点。同时，对基于图像信息的相关跟踪算法进行大量试验。其中主要包括基于方向纹理模板和基于距离变换的边缘匹配的目标跟踪算法。基于方向纹理模板依据邻域内像素灰度变化的趋势分别提取水平、垂直方向二值化的图像纹理矩阵，然后根据定义的相似性判别准则，分别度量水平、垂直两个方向二值化图像矩阵之间的相关置信度。基于距离变换的边缘匹配方法，采用拆分模板、多子模板以及动态更新模板的策略进行序列图像中目标跟踪的算法研究。 本文针对安装在运动车辆上的单个CCD摄像机实时采集的可见光图像，提出了一种基于分类的多模式车辆跟踪算法。按照被跟踪车辆的运行情景(被跟踪车辆在图像中的位置，被跟踪车辆之间的相互位置关系，光照条件等)进行分类，将车辆分为正常行驶状态、遮挡状态、消失状态和光照异常状态等四种状态。对于不同状态的车辆采用相应的跟踪方法：对于正常行驶状态下的车辆，采用基于边缘特征的定位与模板匹配定位相结合的跟踪方法。同时，结合这两种定位方法的特点，提出了一种基于相似性准则的模板更新策略：对于遮挡状态的车辆，采用切割分块模板实现对目标的跟踪；对于消失状态的车辆，采用逆转模板和预估递减模板进行跟踪；对于处于光照异常状态下的车辆，提出一种‘暗中更暗’的方法定位车辆的下边缘，对其它边的定位则利用边缘检测的方法。为了提高匹配速度，采用了改进的金字塔搜索算法进行加速。实验结果显示，多模式车辆跟踪算法具有较好的匹配精度和实时性。 多模式车辆跟踪算法已经实现并应用于车辆跟踪系统中。该算法在包括不同天气，不同光照等评估条件下，都能够很好地跟踪车载摄像机拍摄的图像序列中的车辆。实验结果证明了该跟踪算法具有良好的鲁棒性和可用性。