自动取款机（Automatic Teller Machine，ATM）的广泛使用在很大程度上方便了众多储户，已经成为了便捷生活的重要工具。但是，近年来，针对ATM的犯罪行为却层出不穷，严重影响了很多人的财产安全。目前的安防手段是在提款机附近加装监控摄像头，但这需要大量安保人员全天候的查看监控视频以确定是否有犯罪行为发生，或是在犯罪行为发生之后通过查看保存的监控录像来获得线索。这种方法存在耗费大量的人力物力和实时性低等问题。为了实时检测针对自动取款机的异常行为，本文设计了针对ATM的智能视频监控系统。对于采集到监控区域内的视频图像，提取人体特征，分别从多个角度进行分析，综合四个模块分析的数据来判断是否发生异常行为。在面部检测模块，采用基于Adaboost学习算法的方法，将人体中的面部将提取出来，对于面部遮挡现象发出提醒信息。在剧烈运动检测模块，提出基于人体图像质量变化度和质心变化度的剧烈运动检测算法，针对本文的需求，好更好的适用性，根据两个变化度综合的概率函数，判断是否出剧烈运动，这种算法有很好的实时性和高识别率。在手部轨迹识别模块，本文针对系统特点，对基于YCbCr颜色空间的体肤检测算法进行了改进，缩小了检测范围，能够有效的检测出运动中手部；然后采用均值偏移算法对检测出来的运动手部进行跟踪，提取手部运动轨迹；使用隐马尔可夫模型建模的方法对手部轨迹建模；最后进行轨迹匹配。在遗留物检测模块，本文采用帧间差分和背景减除法相结合的算法，通过两种简单算法结果数据的综合分析，能够有效的区别出运动物体，噪声，背景图像和静止物体，增强了遗留物检测的实时性，减小识别误差。最后本文基于OpenCV开发了针对ATM机的智能视频监控系统，并介绍了各模块的实现。本论文工作得到了陕西省科技攻关项目[2009K08-11]的资助。