网络平台中视频数据的爆发式增长促进了视频理解的广泛应用。视频数据不仅包含静态图像,还包含这些静态图像之间的时序关联信息,对视频行为的准确识别需要有效提取并融合这些信息。目前的视频行为识别方法在提取并融合时间信息和空间信息获得时空信息、对时空特征远程依赖的高效建模以及利用短期运动信息增强模型时空建模能力等方面还存在不足,影响了视频行为识别的准确率。针对目前视频行为识别技术存在的上述问题及其在驾驶行为识别中的应用,本论文进行了如下研究:首先,为了实现对静态外观信息和动态运动信息的不同处理,增强对这两种信息的提取能力,以更加有效地提取时空信息,本论文提出了动静分流聚合模块（Static and Dynamic Shunt Aggregation Module,SDSAM）。通过引入通道注意力,SDS AM 利用经过时间卷积的特征获取其在通道层面包含时间信息的丰富度分数,将丰富度得分作为权重采用加权和的形式聚合原始特征和经过时间卷积提取的特征。由于SDSAM对包含运动信息特征和空间信息特征的选择依据是来自于特征自身的丰富度分数,因此SDSAM的选择是可学习的。这既避免了人工干预,也可以随模型深度变化而变化,提升了时空信息的提取能力。其次,为了解决卷积神经网络难以捕获远程依赖的弊端,提高对时空特征远程依赖的模拟能力,本论文提出了远程时空关联增强模块（Remote Spatial and Temporal Correlation Enhancement Module,RSTCEM）。RSTCEM 分别将特征的长和宽取平均,采用时间卷积将空间表示转换为包含时间信息的时空表示,通过矩阵相乘,得到特征空间中各位置的时空关联性图谱,然后根据此关联性图谱增强原始特征中具有强时空关联性的区域。因此,RSTCEM可以提升模型对视频中各交互对象之间关联性的感知能力。此外,由于时空关联图谱的计算不依赖于空间上每个位置的像素,RSTCEM相较于一些基于自注意力的远程依赖捕获方式更加轻量。最后,为了提升对短期运动信息的提取能力,本论文对运动激励（Motion Excitation,ME）模块进行改进,提出了运动空间增强模块（Motion Space Enhancement Module,MSEM）。MSEM通过原始特征获取视频图像的运动表示,利用空间注意力机制处理运动表示以增强其中对提取短期运动信息有效的部分,然后在通道维度上采用运动表示增强原始通道中表示短期运动的特征。由于空间注意力机制的引入,MSEM增强了运动表示中有用部分的影响力,减弱了无用背景以及由相对运动引发的漂移等因素对提取运动信息的干扰,极大地提升了模型的识别准确率。本论文分别根据上述三种模块设计了视频行为识别模型,分别在Something-Something V1数据集上进行了测试,分别取得了 48.1%、48.4%和49.1%的Top-1识别准确率。实验结果表明,相较于一些其它模型,我们提出的视频行为识别模型具有更好的性能。此外,为了将MSEM用于驾驶行为识别,本论文结合知识蒸馏训练了参数量和运算量都相对更小的模型,在计算量减少一半的情况下准确率只降低了 0.2%。实验结果表明,我们设计的深度卷积神经网络能满足驾驶行为识别的要求。