现在视频监控系统已经广泛应用于人们的社会生活、生产及国防等安防领域中。而针对传统的视频监控系统成本高,出现监控死角,需消耗大量人力资源在监控屏幕前看守及辅助操作等缺点,本文设计了基于ARM11架构的智能视频监控系统,并对系统整体结构、硬件与软件进行了设计,对其所涉及到的运动目标检测与跟踪算法进行了研究。以基于ARM11的S3C6410处理器作为主控芯片,其上运行裁剪的嵌入式Linux系统,结合所设计的有效可行的外围扩展电路及外部支持设备,构成了系统的整体结构,实现了系统的小型化,降低了成本。在软件平台的构建上,进行了uboot移植、裁剪过的内核移植、根文件系统制作、Qt及相关驱动移植,并安装了OpenCV库。通过设计合适的算法流程,调用OpenCV库中的接口函数来完成基于帧差法的目标检测以及基于卡尔曼滤波预测算法的目标跟踪。另外根据运动目标的位置信息对云台进行控制,使运动目标处于视频图像的中心区域,实现了跟踪的智能化。最后通过实验测试,本论文完成了预期效果。