随着电子信息技术等相关技术的发展,视频已经逐渐成为生活中不可或缺的信息媒介。当前各种数字环境中存在的海量视频数据具有着极大的价值,因此,利用计算机进行视频的内容理解、信息挖掘已经成为研究者的重要课题。近年来,深度学习在图像处理等领域取得了前所未有的成功,这也促使了基于视频的人体行为识别技术的发展。目前行为识别领域还存在着诸多挑战,比如人体行为在类内和类间均有较大的变化,不同视角、不同速度下的同一类的行为实例间可能存在较大的差异,而有些不同类别的行为则可能具有相似的视觉节奏。同时,行为视频在时间和空间的多个尺度上均有丰富的信息,简单的模型无法同时捕获这些信息。本文立足于当前领域内的先进工作,研究了如何更好地探索时间信息,进一步地,引入多尺度的方法,以建模各种视觉节奏和不同尺度的时空信息。本文主要工作如下:考虑到3D卷积网络存在时间建模能力不足的问题,本文构建了一个时间聚合网络。首先,基于自注意力机制设计了一个时间聚合模块,旨在利用特征图内部的相关性,挖掘出视频中更多的时间关联信息,并聚合时间信息。然后,将时间聚合模块引入到3D Res Net中,构建了时间聚合网络,其中的主分支中的时间信息得到了强化,并且时间聚合分支额外挖掘了视频中更多的信息,强化了3D Res Net的时间建模能力。时间聚合网络在UCF-101和HMDB-51数据集上分别达到了91.79%和65.37%的准确率。视频中的人体行为具有复杂的时间结构,不同的行为类别天然地具有不同的视觉节奏,如走路和跑步。本文在时间聚合网络的基础上,进一步构建了一个多尺度空间多样性行为识别框架,融合了3D卷积网络不同深度的特征以建模多种视觉节奏。首先,引入了基于自注意力机制的空间注意力模块,通过探索特征图上各空间位置之间的相关性,获取空间注意力图,然后对不同的空间位置上的特征给予不同程度的关注。接着,引入了多尺度的方法,提出了基于多尺度的行为识别框架,建模多尺度的时空信息。进一步地,提出了空间多样性约束,使得不同尺度上的空间注意力尽量关注到空间上不同的位置,从而更充分地挖掘出不同尺度的空间信息,进而使得融合的多尺度特征中包含更全面的空间信息。多尺度空间多样性行为识别框架在UCF-101和HMDB-51数据集上分别达到了94.05%和68.72%的准确率。综上所述,本文引入了时间聚合模块并提出了时间聚合网络,解决了常规的3D卷积网络在时间建模方面能力不足的问题。然后引入了空间注意力模块、多尺度方法和空间多样性约束,并构建了多尺度空间多样性框架。本文的方法在两个具有挑战性的视频行为识别数据集UCF-101和HMDB-51上进行了实验。最终的实验结果证明了本文所提出的方法的有效性。