考虑到现在一般的检测与跟踪系统都需要人为辅助操作的问题,本文介绍一种自动监控系统。本文主要涉及分两个部分：一、通过一些图像处理算法检测出运动背景下目标在图像中的位置；二、通过PC机控制云台运动,进而带动摄像头转动完成对运动目标自动跟踪。基于运动背景下运动目标的检测主要完成以下两方面工作：一、全局运动补偿,为了解决摄像机运动导致背景发生大幅度,本文提出了一种具有鲁棒性全局运动背景匹配法完成动态背景的静态转化；二、比较几种常用的运动目标检测算法的优缺点,提出适合本系统的检测算法——三帧差分法。在摄像机和运动物体同时运动情况下,一般的运动目标跟踪算法存在着被动跟踪的滞后问题。为了解决此问题,本文提出了一种结合Kalman滤波器的Mean-Shift自动跟踪算法。首先利用Kalman滤波器算法进行运动估计,预测物体在下一帧中的位置,根据预知的位置向云台发出相应的指令控制云台运动,进而带动摄像机转动相应角度,然后在此基础上利用Mean-Shift搜索算法精确的确定目标位置,与此同时本文又引入相似性系数来判定目标是否发生遮挡。如此循环。最后自主搭建了单通道视频监控系统实验平台进行仿真实验,验证了系统的有效性。