视频中的行为识别是指将特定行为类别从视频中识别出来的过程,在视频监控,视频检索,人机交互领域有广泛的应用。但是大多数方法仍然受限于视频中复杂背景,从而造成行为识别任务仍然遭受巨大的困难和挑战。对此问题,我们将关注度机制与基础的行为识别模型相结合,搜索深度学习的网络结构,抑制背景信息的干扰,提高行为识别模型在复杂干扰视频中的识别能力。本文的贡献如下:(1)课题整理了行为识别在传统特征,CNN模型,RNN模型方法上的研究现状,并重点阐述了Resnet和LSTM的深度学习基础模型,最后简要介绍了注意力机制相关内容,为本课题融合注意力的深度学习模型奠定了理论基础。(2)针对视频中存在冗余帧,降低了行为表达的可靠性,本文提出了一种新的基于顺序验证的时间关注度LSTM的行为识别模型。该模型设计支持向量机来判别视频帧之间的顺序关系,并通过对该顺序关系进行时间池化来学习每一帧的时间关注度,从而获得增强后的行为表达,达到抑制低质量冗余帧的作用。在获得增强特征之后,利用LSTM学习行为特征之间的时序依赖关系。实验在UCF101和HMDB51两个公认的数据集上进行验证,能够实现可靠的行为识别。(3)针对单个视频帧上的空间背景信息,我们在网络结构的预处理阶段,加入空间关注度模块,提出一种基于时空关注度双流网络的行为识别方法。该模型设计融合平均池化和最大池化的卷积结构实现空间关注度,用于抑制空间背景。实验在UCF101和HMDB51两个公认的数据集上进行验证,能够进一步实现行为识别性能的提高。