随着金融电子化的深入发展和金卡工程的不断推进，ATM机数量的不断增多且得到广泛使用，同时出现了许多利用ATM机盗取合法持卡人钱款的犯罪活动及各种破坏ATM的恶性事件。而目前银行的监控系统缺乏智能化监控手段致使有关ATM机的犯罪案件逐年增加。因此，如何能在监控中及时发现状况而避免犯罪发生，保护银行ATM的安全使用、保护合法持卡人及银行的利益、防范各种针对ATM机犯罪行为是一个亟待解决的问题。针对使用ATM机过程中出现的现实问题，以真实ATM机中用户存取款视频为输入序列，分析和研究用户行为，以检测出ATM机场景中用户的异常行为。本文主要工作和研究成果如下：本文用自适应高斯背景模型算法和基于椭圆肤色模型的人脸检测算法实现ATM机前人体和人脸的检测。详细讨论了Hu矩算法及改进Hu算法能在离散和连续状态下均满足平移、缩放、旋转不变性进行运动目标的特征提取的原理。另外，文中分析了现有跟踪算法的优缺点，进而采用计算简单、实时性好的Mean-shift跟踪算法来实现监控区域中运动目标的跟踪。针对ATM机前用户的异常行为，本文提出了两种识别异常行为的方法：一是针对用户操作ATM机时，是否出现蒙面或脸部遮挡伪装取款的情况，用基于YCbCr空间椭圆模型检测算法对区域人脸进行检测，以预先定义的异常行为语义进行目标异常行为判断。二是以ATM机场景中运动目标的整体作为研究对象，利用基于左-右结构模型的连续隐马尔可夫模型对真实ATM机场景中的运动目标—取款人的正常行为建模，并进行实验仿真。通过计算测试样本对于各个已训练模型的输出概率，判断运动目标行为是否属于异常行为。