计算机视觉是深度学习的一个非常重要的研究方向,深度学习可以让计算机拥有类似人类的思考方式。监控覆盖着人们生活的各个角落,可以捕捉暴力发生画面,但保存的监控视频数据总量十分庞大。面对海量的监控视频,需要使用深度学习来进行暴力行为识别,让机器学会识别人类的动作,替代人工监视摄像画面完成暴力行为的报警。网络训练主要采用视频数据集进行识别网络的训练。但目前深度学习存在复杂背景的干扰、光照强度变化等因素的影响,干扰神经网络对特征的提取效果。就暴力行为识别存在的视角差距、光照变化和复杂背景等干扰问题,本文提出使用人体轮廓图作为输入,进行暴力行为识别网络的训练,人物轮廓图可以避免背景干扰和光照等影响。对于人物轮廓图的提取,本文采用Deep Lab V3网络进行语义分割,提取画面中人物所处的像素点,生成二值图。随后使用人物轮廓图进行二维卷积的姿势识别实验,最终能达到83.85%的准确率,证明了人物轮廓图在暴力行为识别中的可行性。针对人物运动速度的研究,本文采用递归全对场变换光流估计算法生成光流图,使用光流图反映人物运动速度。在进行暴力行为识别网络的训练中,本文使用Hockey数据集,采用三维卷积神经网络对RGB图、光流图和人物轮廓图进行暴力行为识别训练,最终准确度分别达到91.9%、91.0%和92.5%,并且在最终的模型集成预测中,达到了94.75%的准确度。三维卷积对时序特征的提取,能获取连续帧内部关系,并提高行为识别的准确率,相较于姿势识别有了8.65%的准确率提升;人物轮廓图相较于RGB图和光流图的识别准确率分别有了0.6%和1.5%的准确率提升,使用RGB+光流图+人物轮廓图的三输入集成模型的准确率比RGB+光流图的双输入模型有了0.35%的准确率提升。