基于彩色图像序列的目标跟踪是计算机视觉研究的热点，在军事交通安全监控等领域都有重要应用在目前的主流算法中，Mean Shift算法以其结构简单，实时性好，跟踪效果显著等优点得到了广泛的应用本文主要研究了运动目标的检测和跟踪算法，结合本文所需处理的目标运动场景，提出了基于统计平均的背景减除法的目标检测算法和基于Camshift和Kalman滤波的目标跟踪算法并通过目标特征提取算法将二者关联起来。本文首先介绍了典型的视频跟踪系统架构及本文基于此架构拟采用的处理方法。之后提出了一种基于背景减除法的运动目标检测算法。该算法是通过高斯滤波等前期处理，以及背景减除法提取出运动目标区域的二值图像，然后通过连通域分析将运动目标的形心等几何特征提取出来，并得到目标的运动轨迹，最后再根据运动目标的几何参数提取出目标的颜色图像，为后续的目标跟踪算法提供了特征模板。然后详述了MeanShift算法的数学理论，提出了核函数密度估计，色彩密度函数MeanShift向量和Bhattacharyya系数的概念，并对MeanShift目标跟踪算法算进行了介绍根据目标检测算法得出的目标颜色图像和MeanShift算法，提出了一种新的基于Camshift和Kalman滤波的目标跟踪算法，并最后通过实验验证了算法性能。Mean Shift算法具有实时性好面对目标部分遮挡和目标变形的鲁棒性好的特点但是在面对目标运动过快背景颜色与目标颜色相近和目标发生大部分遮挡的情形时，算法往往失效，造成目标丢失且传统的Mean Shift算法搜索窗固定，不能根据目标的大小变换进行自适应调整，从而造成跟踪丢失为解决这些问题，本文采用Camshift算法的自适应搜索窗来解决目标大小变化的问题，引进Klaman滤波预测目标的运动位置，从而解决了目标运动过快的问题经过实验证明，本文的算法较好的完成了复杂情况下的目标跟踪任务