为保护人类安全,监控已经遍布大街小巷,通常我们的监控只能做到把画面记录下来,需要人力监测异常行为的发生,这种方式不仅效率低而且成本高,一直以来研究者们都希望计算机能自动监测异常行为,因此基于视频的异常人体行为识别一直以来都是计算机视觉方面的一个重要且富有挑战的研究方向。以往针对视频的研究中,已经研究了如射击、挥刀、劈砍等行为的识别,但由于打斗行为具有随机性和不可预测性,因此对打斗行为的识别研究方面并没有很好的结果,此外,随着深度学习的发展,卷积神经网络成为一种最先进的图像分类模型,因此本文在此基础上进行视频数据中的打斗行为识别,并取得了良好的结果。本文主要工作如下:(1)针对要用深度学习的方法来进行打斗行为识别这一问题,本文提出了一种基于双流卷积神经网络的打斗行为识别方法,主要是因为双流卷积神经网络模型在视频行为识别方面具有很好的表现,而且双流卷积神经网络充分利用了视频的时间分量和空间分量,为识别打斗行为提供了更多的运动信息。(2)本文针对原双流卷积模型参数量大、运行效率低的问题,提出了改进的双流卷积神经网络模型来进行监控视频中打斗行为的识别,改进思路一方面是减少卷积层数,另一方面是将双流卷积神经网络模型的两个卷积层在进入最后一层全连接层之前进行融合。从而获得更加简单高效的识别打斗行为的双流卷积神经网络,平均识别率可达到89.3%。(3)本文在针对需要给大量打斗视频帧数据进行标记的问题上,运用了玻尔兹曼熵来进行视频中的异常帧检测,从而将所收集的打斗视频数据的打斗帧与非打斗帧进行预先分类。因为异常事件的发生概率较小,所以本文首先利用正常状态下的玻尔兹曼熵建立一个高斯模型,然后通过该高斯模型计算测试样本的概率,从而判断异常事件的发生。(4)为了提高本文方法识别打斗行为的识别率,本文还将光流帧分别进行5帧和10帧的叠加处理,然后进行训练实验。由于光流的叠加增强了人的运动趋势,通过证明,在多帧堆叠光流上训练,能够实现更好的打斗识别效果。最后,本文通过与传统识别方法即HOG+SVM以及将双流网络进行VGG16、ResNet、和GoogleNet扩展后的方法进行打斗行为识别效果的比较。验证了本文提出的深度学习的方法进行打斗行为识别的可行性、有效性。