随着人工智能时代的到来,视频人体运动行为识别体现出了广阔的应用价值,包括智能视频监控,虚拟现实,视频检索等。通过分析人体运动行为识别的相关研究,发现已有方法都较难解决视频中存在的复杂背景环境、照明变化、场景变化等干扰问题,且不能有效利用视频帧之间的时序依赖关系,从而影响最终的识别结果。本文围绕以上问题,提出了表征视频前景信息的时空显著性图像,并构建了多流残差神经网络模型,以获取视频中的时空特征和显著性特征,同时对网络模型做了改进,以捕获视频序列间的关键信息。主要研究工作如下:(1)生成了一种表征视频前景信息的时空显著性图像。时空显著性图像是从视频前景目标运动区域分割出的图像,不包含复杂的背景信息。通过广义边界检测方法和K均值聚类方法,以视频RGB图像和光流图像作为输入,获得时空边缘概率图,然后计算出视频中前景目标的概率图距离,最终从时空边缘概率图中获得时空显著性图像。(2)提出了一种基于时空显著性的多流残差神经网络(Spatio Temporal Saliency based multi-stream Res Nets,简称STS)模型。通过预训练网络模型,获得初始化权重参数,并分别以视频RGB图像、光流图像和时空显著性图像为输入,微调多流残差神经网络,再从三个通道的softmax层计算出类别得分,得分取平均获取最终识别结果。对比双流卷积神经网络模型,多流残差神经网络有效利用了视频中的时空显著性信息,在UCF101和HMDB51数据集上分别提高了2.9%和1.9%的识别精度。(3)提出了一种结合时空显著性多流网络与注意力机制网络(Spatio Temporal Saliency based multi-stream Res Nets with Attention-aware LSTM,简称STS-ALSTM)的行为识别模型。使用多流残差神经网络对三种模态的视频数据进行特征提取,将提取到的特征向量输入到注意力机制网络中,然后从大量时空信息中选出对视频识别更关键的信息,进一步学习连续视频帧之间存在的时间依赖关系,并最后将多流网络输出结果融合,从而获得最终预测类别。通过端到端的方式训练及优化模型,在UCF101和HMDB51数据集上分别取得了92.7%和64.4%的识别准确率。