伴随着海量视频数据的涌现,人体行为识别在众多新兴领域都有着广泛的应用价值。而近年来深度学习的发展,卷积神经网络应用于视频中人体动作识别取得了不错的效果。但受限于较高的计算机硬件成本和复杂的网络模型设计与训练,其完全应用仍尚需时日。因此,如何有效利用卷积神经网络对视频中人体特征进行深层次的表述对于行为识别至关重要。在目前主流的双流卷积网络基础上,探究深层次的表述视频的时空特征,并针对目前存在的问题提出相应的改进方案,具体内容包括:1.为了更好地对人体动作的长时时域信息进行建模,提出了一种结合时序动态图和双流卷积网络的人体行为识别算法。首先利用双向顺序池化算法来构建时序动态图,来充分表征视频中人体动作的空间表观特征和长时序运动特征;随后根据时序动态图的独特性,设计了基于inception V3的双流卷积网络,分别以时序动态图和堆叠的光流帧序列作为输入,且结合数据增强、模态预训练、稀疏采样等方式,来提取视频的时空信息;将各支流输出的类别判定分数通过平均池化的方式进行分数融合。实验结果表明:与传统双流卷积网络相比,该方法可以有效利用动作的时空信息,提高对于人体动作的识别率。2.为了探究更高效的时序特征提取方式,提高行为识别模型对于近似行为的分辨能力,提出了一种联合时序位移模块和通道注意力机制的人体行为识别方法。在双流卷积网络中引入时间位移的思想,通过对于输入特征图时间维度上的位移使相邻视频帧信息混合,实现单帧时序建模的效果;同时针对引入时序位移模块后所导致部分通道数据发生变化,引入通道注意力机制来校准不同通道之间的信息,增强视频中空间特征的表达能力。实验结果表明:引入时序位移模块提高了模型在时序方面的建模能力,加入通道注意力机制提高了近似行为的辨别能力。