基于视觉的无人机跟踪具有成本低、效果好等优势,在各行各业都被广泛应用,有着良好的发展前景。在目标跟踪的过程中,视觉跟踪算法是核心内容,跟踪算法的准确度决定了跟踪的成败。但是跟踪过程中无法预计的复杂场景严重影响了跟踪算法的准确率,需要通过对算法的改进来克服,如:光照变化、尺度变化、遮挡、背景干扰等。本文选择以基于颜色特征进行跟踪的Mean Shift算法为基础,对其作出改进,以解决无人机跟踪目标时面对的复杂环境问题,如颜色干扰、遮挡问题等。本文主要研究内容如下:(1)针对无人机跟踪目标时,目标颜色与环境背景相似的问题,提出改进Mean Shift算法的跟踪特征,将相机采集的视频格式由RGB颜色空间转化为HSV颜色空间,并选取其中的色调分量作为跟踪特征,比以RGB颜色直方图为跟踪特征对色彩更为敏感,不易受到相似颜色干扰。(2)针对无人机跟踪过程中目标被短期遮挡的问题,提出将改进后的Mean Shift算法与Kalman滤波相结合,利用Kalman滤波的预测功能,使算法在面对目标被短期遮挡的情况下依旧能稳定跟踪。(3)在使用Mean Shift算法进行无人机跟踪时,算法存在无法自适应调整搜索框尺度的缺陷,为解决该问题,本文提出加入双目视觉系统对跟踪目标与无人机之间的距离进行测量,从而控制二者距离,保证了跟踪目标不会丢失。验证结果表明:本文提出的跟踪算法在面对复杂场景跟踪时可以取得较好的跟踪效果。