人体视频行为识别是计算机视觉的重要研究方向,目前在异常行为监控、人机交互系统、视频检索等领域应用非常广泛,具有极高的研究价值。近年来深度学习技术的发展推动了人体视频行为识别的研究,但是由于人体动作本身的灵活性以及不同人行为习惯的差异性,需要充分考虑上下文信息以及空间语义与时间事件的非对称性,这有助于人体行为识别准确度的提高。因此本文提出基于时域扩张残差的双流人体行为识别网络和基于特征重用的双分支行为特征提取网络,其主要研究内容和贡献如下:（1）提出基于时域扩张残差的双流人体行为识别网络。以往多数利用图卷积网络进行时空行为特征提取的研究更多关注空间域而较少关注长时信息依赖建模,但是在人体视频行为识别中挖掘动作的长时依赖关系也尤为重要。在时空行为特征提取方法中不仅用图卷积提取空间域特征,而且用扩张因果卷积和残差连接结构来构建时域扩张残差网络提取时域特征,该网络能够在未大量增加参数的基础上有效扩大在时域上的感受野,从而更好地获得在时域上人体关节信息的长时依赖关系。分别用基于关节点数据的人体行为识别网络和基于骨骼数据的人体行为识别网络进行行为特征提取,然后进行加权双流特征决策,在NTU RGB+D和Kinects数据集上的准确度均高于所参考行为识别文献。（2）提出基于特征重用的双分支行为特征提取网络。在同一个时间帧中通常包含变化较大的区域和相对静态的区域,为了更好地获取人体行为动作的空间语义和捕捉精细时间分辨的动作,设计了双分支的网络模型,其中低帧率分支以较少的时间帧数和较多的通道数侧重于提取丰富的空间语义信息,高帧率分支以较多的时间帧数和较少的通道数保证网络轻量级的前提下有效捕捉人体行为的快速变化,同时使用将高帧率分支中的特征向低帧率分支中融合的方法使网络能够端到端的训练,其中融合采用混合组卷积的方式,可以减少计算量并且促进两个分支特征之间的信息流动。通过建立前后时空特征提取基本模块之间的短路连接实现特征重用,能够更加有效地提取全局信息。在NTU RGB+D和Kinects数据集上的实验结果优于目前主流方法。