近年来，随着视频采集技术的发展，越来越多的人们使用摄像机记录日常的生活，使得视频数据正成爆炸式增长。如何有效地对视频数据进行分析已经成为计算机视觉领域一个重要的研究课题。而作为大多数视频内容的主体，人的行为的分析则成为视频内容分析众多分支中的最关键的问题之一。人的行为分析具有非常重要的应用价值，如智能人机交互，视频监控，远程医疗等等。本文将以人为主体的视频数据作为研究对象，首先提出一种有监督的学习方法来分析人的行为，对较容易标注且类内散度相对较小的单人的行为进行分类。然而，有监督的学习方法并不适用于分析所有人的行为，比如类内散度较大的群体行为，因此，提出了一种无监督的行为分析方法，旨在有效地实现有意义的群体行为模式的挖掘。为了实现有监督的单人行为，即动作的分析，提出了一种基于时空约束的动作分类方法，在比较两个动作的相似性时，不仅考虑表观特征的匹配，同时考虑时空结构的约束。首先采用一种随机的特征量化方法，通过结合多个角度的量化结果得到表观特征之间更全面且准确的匹配结果。接着，将表观特征点的匹配映射到一个时空偏移空间中，来间接地获得点之间存在的潜在的时空结构的匹配，从而得到动作间更加准确的相似性度量。最后，采用KNN分类模型来完成动作的分类。在KTH动作数据集和YouTube动作数据集上的分类结果验证了本文提出的有监督的基于时空约束的动作分类方法的有效性。在群体行为的分析中，提出了一种无监督的手段来自动地探索群体行为数据集中隐含的运动模式，并将其划分成多个有意义的群集。受到人类视觉系统可计算模型的启发，提出了基于时空显著度的特征表达方法。该方法不遵循传统的特征提取中的一致性原则，而是模拟视觉关注的机制，从输入数据中不一致地采样，编码行为数据流中人类关注的运动成分。结合时空池化操作，获得了更加紧致且鲁棒的特征表达。最后，在获得的行为之间的相似关系矩阵上执行N-Cut聚类方法，从而得到不同行为模式的聚集。在自行构建的HIT-BJUT数据集和另一个公开的UMN数据集上的实验结果证明了本文提出的无监督的群体行为分析方法在大规模混淆数据中的挖掘能力。