为了给大众提供安全的生活环境,监控被广泛应用在维护社会治安方面。以往的监控手段仅将已发生的事存档,依靠人工完成判断和识别,该方法存在人工消耗大、效率不高等缺点。科研工作者们希望计算机能通过学习事物特征,达到智能识别异常行为的目的。因此快速、正确的识别视频内行为的种类,判断其中是否包含异常行为是深度学习领域研究的热点内容。由于用单帧RGB图像训练网络无法充分利用视频中行为的运动信息,本文网络的数据输入选用单帧RGB图像与光流图。数据样本不足易导致过拟合,本文对输入图像使用数据扩充并对整体网络进行微调,预期达到理想的异常行为识别性能,利用Brox光流法获取视频内蕴含的光流信息,提取了视频图像信息的光流场,通过光流运动的复杂程度说明目标运动趋势的大小。本文使用含有多种动作的行为数据集,标记出数据集内的异常行为。为了更好的体现视频内包含的运动信息,使用光流法提取视频中的光流特征,以连续的光流帧作为输入,更好的表现行为的运动趋势。模型的训练需要大量的数据支持,我们采用水平旋转、镜像等方法对原有图像数据进行数据扩充。使用修改模型架构,调整模型变量等方法提高模型的泛化性能,更好的获取数据内包含的特征信息,提升网络识别精度。本文设计了一个深层次的残差结构双流卷积神经网络,空间流通道获取单帧RGB图像中的纹理、轮廓、兴趣点等外观信息,时间流通道获取光流图像中的运动信息。残差结构有效的克服了网络层加深出现的梯度爆炸,防止网络退化。使用Dropout防止网络出现过拟合,迁移学习并微调网络参数,以提升网络的泛化性能和特征获取能力。最后本文使用构建的模型与以往的方法作对比,说明了所构建模型的有效性。基于已构建的残差结构双流卷积神经网络分析了基于前期、中期、后期特征融合对网络整体识别能力的影响,其中中期融合方式采用结合SVM策略实验,后期融合方式采用结合贝叶斯方法策略进行实验。实验结果证明了残差结构双流卷积神经网络的有效性,其中结合SVM的中期融合策略具有最好的识别精度。