近年来,随着深度学习技术的不断发展,以及计算机硬件(GPU)的运算能力的不断提高,现在基于视频理解的研究领域越来越受到重视。而基于视频的行为识别是视频理解研究领域的很重要的一个方向,人体行为识别交叉融合了图像处理、模式识别、机器学习、计算机视觉等学科理论,其主要任务是从一个未知的视频片段中自动分析视频中人物正在进行的行为并给出正确的分类。人体行为识别在许多领域有着很高的研究价值和应用前景,广泛应用在智能监控、人机交互系统、虚拟现实、视频检索等领域。人体行为识别技术发展至今,出现了许多优秀的算法,能够对视频进行较为准确的识别,并且可以在特定的场景进行应用,但由于视频段长度不一致、相机抖动、人类行为多样性,视频场景的复杂性以及多样性等因素,使得人体行为识别技术仍然是计算机视觉领域的研究难点和热点。本文主要研究基于深度学习的视频行为识别方法,具体研究内容如下:首先介绍了深度学习相关的基础理论,对深度学习的反向传播算法、卷积神经网络的结构和原理、常用优化算法和数据预处理方法进行了详细的介绍,其次对目前经典的视频行为识别方法进行了介绍,分别阐述了基于传统人工提取特征的行为识别方法和基于深度学习的行为识别方法,着重介绍了目前主流的三种基于深度学习的视频行为识别方法。论文深入研究了初始的双流卷积神经网络模型,针对其网络模型特征提取能力不足和采样策略无法处理视频长度不一致的问题,将双流网络和残差网络结构结合在一起,提出了一种基于双流残差网络结构的视频行为识别模型,通过利用残差网络结构代替原有的网络结构和采用分段采样的策略可以改善视频长度不一致的问题和提升模型的识别性能,并探究了数据增强、预训练初始化和一些超参数的设置对模型识别性能的影响。实验结果表明该改进能在一定程度上可以提升模型的识别性能。论文在原有的双流残差网络结构的基础上,首次通过利用两种不同的方法来改进双流残差网络模型,其中一种方法是针对残差网络结构不能充分利用感受野提取视频片段特征信息的问题,利用Res2net模块替换原有的残差网络模块,这可以增大网络层的感受野,获取到多尺度的特征信息,另一种是采用i Resnet的方法来改进残差网络结构,这可以促进网络信息的流动和减少信息的损失。实验表明这两种方法都能在保持原先相近的计算复杂度的情况下,进一步提升模型的识别性能。