随着我国机动车数量的迅猛增加，人、车、路的矛盾日益突出，建立高效的智能交通系统迫在眉睫。车辆异常行为检测作为智能交通系统的一部分，有着重要的研究意义和实用价值。随着图像处理和模式识别技术的发展，基于视频的车辆异常行为检测应运而生，越来越受到研究人员的重视。本文在分析研究现状的基础上，梳理出基于视频的车辆异常行为检测中存在的三个难点问题：背景模型的建立、车辆的稳定跟踪和异常行为识别算法。文本主要从这三个问题出发建立了一整套基于视频的车辆异常行为识别的流程和方法。本文基于平均背景模型建立了实时更新的背景，并通过背景差、二值化、数学形态学处理等一系列流程，实现了运动车辆的检测。在差值二值图像化过程中，固定阈值对外界环境不敏感，本文针对这一问题提出了一种灵活的自适应阈值算法，并实验验证了该算法的有效性。在对车辆特征（质心、外接矩形的长和宽）进行提取的基础上，通过建立相似度函数的方法实现了车辆间的多特征融合匹配。在特征匹配的基础上，本文通过设置ROI和跟踪列表的方法实现了车辆的稳定跟踪，并对车辆运动轨迹进行了提取。在对车辆运动轨迹分析的基础上，针对逆行、超速、违章停车和闯红灯四种不同的异常行为提出了具体的检测方法，并依据不同视频素材分别实施了多组异常行为检测实验，给出了实验结果。实验结果表明，本文提出的基于视频的车辆异常行为检测方法准确性强、实时性高，可以满足智能交通系统的需要。