视频监控下的异常行为识别是具有现实意义的课题,对安防行业形成智能化有重大意义。随着深度学习在计算机视觉方面的发展,用深度学习解决视频监控下的异常行为识别成了近几年的研究热点之一。基于深度学习的视频异常行为识别的综合网络是由检测网络和识别网络构成。由C3D特征提取网络和对特征打分的多示例学习全连接网络构成的检测网络使用半监督学习方式,先在视频级别而不是帧级别上打标签,再利用正常和异常视频一起让识别网络学习异常行为,最后检测异常行为的发生时间。在识别网络中,将2D-DenseNet网络融合C3D网络的特征,通过迁移学习形成DenseC3DNetwork进行视频流的行为识别。由于正常行为在视频中占比高,异常行为占比低。将正常行为进行行为识别既造成资源浪费,又降低识别网络的识别精度。使用检测网络可以检测视频中异常行为发生与否并标注发生时间段,舍弃正常行为的帧并整合异常行为的帧放入行为识别网络中进行异常行为识别,从而让识别网络不需要将正常行为也作为一类行为进行识别。实验结果表明,检测网络对不密集、无遮挡、光线良好的异常行为视频无漏检示例,但存在将正常行为误报异常的实例。识别网络在检测网络的数据集UCF101-Crime上有79%的识别精度,存在部分未识别或者识别失误的示例。