近年来,随着计算机与网络的发展,每天有来自监控、网络摄像头、用户自主上传的海量视频,通过纯人工对这些视频进行审核、筛选需要非常大的工作量,几乎难以完成。视频行为分析作为计算机视觉的一个分支,因其已经在智能监控系统、视频检索、人机交互等多方面取得一定的研究成果和经济效益而得到了不少研究人员与机构的广泛关注。传统的行为识别方法主要是通过设计搭建表示行为的模型,对人为设定提取的特征进行分析来识别行为的类别。但传统的视频行为分析依赖于人工设计的特征提取,算法整体调优比较困难,还有比较耗时等缺点。针对上述问题,本文主要研究并提出了基于深度学习的时空自注意力运动特征提取的方法,主要做了如下工作:对当前视频行为分析的方法进行了研究。在传统算法中,研究了人工特征提取的方法,其中包括特征表示、描述符提取和聚合;分类器的设计;传统算法中主流的i DT方法。在深度学习的方法中,研究了经典的双流方法中的two-stream和TSN,3D卷积方法中的C3D等。研究并设计了一种空间自注意力机制。针对视频场景的复杂难以提取关键的运动特征,提出了三维空间自注意力机制,通过结合场景与帧间的运动信息计算出的注意力分布能够关注于有效运动区域,在一定程度上避免了无关运动特征的影响。对于拍摄视频设备的差异、视频编码方式的不同等因素,可能会造成不同的视频帧率上存在差异,并且同一个动作执行的快慢也会因人而异,针对上述问题提出了Temporal 3D Res Ne Xt Block,在时间维度上的卷积采用了多尺度的卷积核,增加了时间跨度上的适应性。在模型结构上,本文设计了一种金字塔式的结构来获得空间自注意力机制的值矩阵(value matrix)、查询矩阵(query matrix)和键矩阵(key matrix),使输入注意力机制中的特征更丰富。在UCF101与HMDB51数据集上的实验结果表明,本文提出的方法能够有效提升检测精度。