基于视觉的目标行为分析是指对图像序列中的目标进行检测、跟踪、描述以及识别，其在视频监测、图像检索、机器视觉等领域均有着重要的应用。行为目标的检测以及跟踪是行为目标分析的基础，属于目标理解的基础层研究阶段，行为目标的描述以及识别属于行为理解的高级层阶段。对目标行为理解的研究具有重要的意义以及广泛的应用前景。本文具体围绕行为目标的检测、行为目标的跟踪定位以及行为目标的分析理解，对目标直立行走、蹲下、跑步、摔倒、坐下五类行为进行分析识别。实验结果显示，本文系统基本能够识别该五类行为，尤其对异常行为跌倒的识别准确率较高。（1）针对传统背景差分以及帧间差分的缺点，本文采用了一种结合背景差分与帧间差分的目标检测方法。首先将算法所需的背景以及帧序列进行灰度级的扩展，对传统背景差分和帧间差分后的前景图像通过动态阈值进行分割，最后将分割结果相乘，得到目标的运动区域。该算法通过动态地寻找分割阈值，使差分后的前景能够以最适合的阈值进行分割，提高了目标检测的准确性。（2）在目标跟踪定位阶段，本文采用基于微分扩张器和GVF-Snake的自适应目标跟踪算法。首先由DESO跟踪到的轮廓矩形采样点形成的曲线，对轮廓跟踪算法进行初始化，该方法避免了原始跟踪算法的手动初始化，提高了算法的实时性，实现对目标轮廓的快速跟踪。然后由GVF-Snake跟踪到的结果对DESO进行更新，实现了微分扩张器和GVF-Snake对目标的联合跟踪，提高了算法的鲁棒性和实时性。（3）行为目标的描述中，本文采用基于目标行为序列的状态、侧影轮廓形状信息，通过傅里叶描述子对目标侧影轮廓进行描述，并同时配合主成分分析对目标进行特征描述。（4）在目标分类中，建立基于OAA模型的支持向量分类器，并采用了投票机制，针对不同特征的特点采用不同的分类器，将得到的分类结果进行各个投票，得票高者判定为该类行为。该分类系统提高了分类器的分类效率以及分类性能，使得分类率有了一定程度的提高。