近年来,视频中的人体行为识别越来越受到广泛关注和应用。究其原因,一是深度学习、模式识别等方面的研究有了重大成果;二是随着智慧城市、智能家居等的兴起,社会的智能化发展为人体行为识别提供了广阔的应用前景。所以,既快速又准确地进行视频中的人体行为识别是目前热门的研究方向。人体行为识别的本质是一个多分类问题,其重点是对视频中人体的运动行为进行系统分析,最终人体行为的判断通过合适的分类器来确定。本论文从传统的基于机器学习的行为识别技术出发,引入基于深度学习的人体行为识别技术,通过对两类方法的学习研究、比较分析,再结合二者在实际应用中的表现,研究总结得到了本论文对基于深度学习的人体行为识别方法的改进。论文的主要研究工作为以下几个方面:1.简单介绍了基于机器学习的行为识别技术的发展,分析了几种典型的机器学习算法并总结其优缺点。对基于深度学习的行为识别技术进行综述,回顾其发展历程,重点对视频的时序建模思路进行分析。2.视频行为识别的关键在于长时时序结构建模。本论文采用经典的双流卷积神经网络为基础网络,对其采样方法改进得到时间分割网络。时间分割网络的长时时序建模思路是分割稀疏采样,该方法能够高效地利用整个视频的长时时序信息。本论文的贡献在于在原始的时间分割网络基础上提出多时间尺度的滑动窗口采样方法,解决部分视频中有效视频帧占比小的问题,达到更好的行为识别效果。3.针对视频的时空特性,实验过程中首先提取其时间、空间特征,然后融合得到时空特征。在此基础上,本论文将人类的注意力机制引入时空融合模型,得到基于注意力机制的时空融合特征,使时间、空间信息互为补充,利用整个视频的上下文信息。本论文采用的数据集是行为识别常用的公开数据集,UCF101和HMDB51数据集。整个实验基于深度学习框架TensorFlow完成,从实验结果可知,本论文提出的基于多时间尺度的双流卷积神经网络和基于注意力机制的时空融合模型对于视频的行为识别都取得了较好的识别效果。