视频行为识别就是在不需要人为干预的情况下,综合利用计算机视觉、模式识别、图像处理、人工智能等诸多方面的知识和技术对摄像机拍录的图像序列进行自动分析,实现动态场景中的人体定位、跟踪和识别,并在此基础上分析和判断人的行为,其最终目标是通过对行为特征数据的分析来获取行为的语义描述与理解。视频行为识别技术可用于自动驾驶、人机交互、智能安防监控、智能家居监护等领域。因此,对视频行为识别的研究有着重要而广泛的意义。本文针对现有2D卷积神经网络存在无法提取输入帧间的时空特征信息的问题进行了深入的研究和分析,取得的主要研究成果为:（1）搭建时空交互通道注意力模块提升视频行为识别。通过分析现有通道注意力机制的不足之处,在深度学习框架下提出一种简单有效的时空交互通道注意力模块,并将此模块嵌入到现有基础网络Res Net50中,搭建更有效的行为识别网络。针对输入特征,该模块首先通过尺寸重构操作对其进行维度转换;接着利用尺寸重构将单独的每帧特征压缩成新特征并利用卷积操作实现时空特征信息的提取;然后对此特征进行归一化,同时与之前的特征进行矩阵相乘,实现信息压缩;最后采用激励加权操作实现通道维度上的特征重标定。由该模块搭建的行为识别网络在UCF101数据集上的识别正确率为95.51%,在HMDB51数据集上的正确率为74.71%。（2）建立时空双分支并联注意力模块提升视频行为识别准确率。针对现有注意力模块无法提取时空特征信息或计算量太大的问题,在深度学习框架下提出一种有效的时空双分支并联注意力模块,该模块能直接嵌入到主流基础网络中,增强网络提取特征的能力。该部分提出的时空双分支并联注意力模块由通道时间分支与空间时间分支并联组成。通道时间分支利用多尺度池化提取各通道空间信息数列,经卷积得到各通道的注意权重,接着对权重进行矩阵操作与Softmax得到时间维上的权重值,最后利用元素乘法实现特征重标定。空间时间分支采用最大池化与平均池化将所有通道的空间信息压缩到2个特征图上,然后采用矩阵操作与Softmax得到包含时间信息的特征图并映射到原始特征图。基于该模块所构建的行为识别网络,最终在UCF101数据集上得到了96.14%的识别正确率,在HMDB51数据集上得到了75.32%的识别精度。（3）设计时间与通道混洗模块改进视频行为识别。针对现有2D卷积神经网络存在无法提取输入帧间时空特征信息的问题,在深度学习框架下提出一种时间与通道混洗模块,并将此模块嵌入到现有基础网络Res Net50中,搭建更有效的行为识别网络。首先将预处理后的多帧图片输入到主干网络提取每帧的单独信息,记为原始信息;然后,所设计的时间与通道混洗模块利用矩阵操作将独立的输入特征图转换为具有时空关联性的全新特征图并提取融合信息,记为时空信息;接着,将原始信息与时空信息进行相加并传递给深层网络完成行为识别任务。最终在UCF101数据集上得到了96.16%的识别结果,在HMDB51数据集上得到了75.41%的识别正确率。（4）构建时空特征金字塔模块改进视频行为识别。为了让2D网络能够提取输入帧之间的时序相关信息,在深度学习框架下提出一种基于时空特征金字塔模块的行为识别方法。针对多帧图像输入,主干网络首先提取每帧的单独信息,记为原始信息;然后,该部分所设计的时空特征金字塔模块利用矩阵操作和空洞卷积金字塔对输入特征图提取具有时空关联性的时序信息;接着,将原始信息与时序信息进行加权融合并传递给深层网络;最后,利用全连接层对视频中行为进行分类。最终在UCF101数据集上得到了96.43%的识别结果,在HMDB51数据集上得到了75.55%的识别精度。