视频行为识别和检测是视频理解中最重要的任务之一,且在日常生活中有着广阔的应用前景。过去的几年,深度学习技术的引入使得该课题有了全新的进展,但由于视频数据的复杂性以及人体行为本身的不确定性,构建高效的识别或检测模型仍存在困难。本文深入研究了基于深度学习的行为识别和检测方法,对现有方法中存在的一些不足进行了改进,论文的详细工作如下:第一、提出了一种改进自TSN模型的行为识别方法。针对TSN网络各个采样分组缺乏关联的问题,设计一种遗忘门连接模块,使用LSTM的遗忘门结构用来建立每个分组之间的特征级连接,从时间维度上整合采样组,以增强各个采样分组之间的信息传输,提高时间维度的连通性。改进了空间流和时间流的特征融合方法,利用ConvLSTM连接特征提取网络:将上述双流网络的输出特征进行通道叠加,然后使用ConvLSTM学习特征的长期时空依赖关系,解决了以往双流+循环神经网络融合方法会破坏空间特征的弊端。经改进后的模型在UCF101和HDMB51两个数据集上进行了实验,结果表明,改进的行为识别方法相较于原始TSN算法有明显的提升,并且达到了与最新方法媲美的识别准确率。第二、提出了一种融合非局部模块的时空行为检测模型。模型采用一种双分支卷积神经网络的结构,用来解析视频的空间信息和时序信息。空间网络以视频单帧图像作为输入,对当前视频帧进行外观特征提取;时空网络输入视频帧序列来提取视频的时空特征。针对卷积神经网络对时域信息理解能力不足的问题,时空网络采用融合非局部模块的三维卷积神经网络来捕获视频帧之间的全局联系。为了进一步增强上下文语义信息,使用一种通道融合机制来聚合两个分支网络的特征,最后将融合后的特征用于帧级检测。模型在UCF101-24和JHMDB两个数据集上进行了实验验证,结果表明,模型能够充分融合空间和时间两个维度的信息,在基于视频的时空行为检测任务上具有较高的检测精度。