随着信息技术的不断发展、城市信息化应用水平不断提升,视频监控逐渐陷入“监而不控”的病态.现阶段对于监控视频中人类行为的判断,需要消耗大量的人力。而利用自动化行为分析系统可以有效地缓解这样的问题。本文实现了基于深度学习的人类行为分析框架,该框架主要包括目标检测、目标跟踪、ROI提取、行为识别等步骤。本文在现有的目标检测方法的基础上,对其做了扩展,提出了一种人类行为序列提取方法;为了更好地提取出视频中人类行为的时空信息,本文在Two-Stream的基础上做出了改进,提出了基于C3D的Two-Stream行为识别方法。本文主要工作如下:1)对现有基于帧的目标检测方法YOLOv2进行扩展,将前后帧中同一 目标主体进行关联,实现了检测与跟踪功能,同时将跟踪目标行为从场景中分割出来,排除外界干扰,以便随后对其行为进一步分析。2)针对Two-Stream中将时空信息分开提取做法不能够充分融合时空信息的问题,本文对其进行了改进,使用了 C3D神经网络来分别提取视频帧和光流矢量图像的时空信息,并在提取过程中通过网络的3D卷积和3D池化操作融合,形成更具有说服力的视频级描述符。3)本文将上述方法结合,实现了基于深度学习的人类行为分析技术框架,该框架可以用来对于现实场景监控中多目标主体的行为单独分析,对于单个行为进行跟踪分析,能够排除外界环境的干扰。实验结果表明,本文实现的人类行为序列提取方法能够对视频中人类进行实时检测与跟踪;本文提出的基于C3D的Two-Stream行为识别方法能够更好地提取并融合时空信息,并提升了视频中人类行为识别的平均准确率;将两种方法结合起来,可以对单个目标主体进行跟踪与分析,排除外界干扰,提升行为识别的准确率。