视频人体行为识别任务是利用计算机自动分析处理视频数据,得到人体行为类别的过程,是计算机视觉领域最具挑战的任务之一。电子技术的发展使得计算机处理能力大大增强,存储设备容量也得到提升。各类高清视频设备的广泛应用,使得人体行为识别在智能安防、人机交互等领域有着较为广阔的应用前景,同时推动了行为识别算法研究的进一步提升。传统的人体行为识别算法通常采用人工设计特征的方式提取信息,而这些方法往往工作量较大,算法设计复杂,在面对复杂真实场景时,易受到遮挡、光线、角度变化等的干扰,识别准确率较低。而深度学习的发展为视频中人体行为识别算法设计带来了新的思考,现有基于深度学习的行为识别算法主要针对视频序列、骨架序列、深度图像序列这三种不同的数据形式进行研究。其中骨架序列避免了更多噪声的干扰,同时描述了视频中人体的姿态信息;视频序列普适性较强,易于数据的采集和模型的应用推广。本文采用姿态估计算法提取的骨架序列及原始视频序列两种模态数据分别实现两类人体行为识别的网络模型,得到了较高的识别率。本文针对可表征姿态信息的骨架序列数据,展开基于姿态估计算法的行为识别研究。首先使用准确率及检测速度均具优势的目标检测算法Yolo对原始视频中的人体模型检测分割,其次对并行多分辨率网络模型HRNet进行改进,提出改进的多尺度融合姿态估计算法MHRNet。在此基础上实现对视频中已分割人体目标更为细致准确的人体骨架关键点特征信息提取。进而设计两种以LSTM循环神经网络为基础的模型完成视频的骨架关键点坐标信息及时序信息的学习和训练,最终实现视频中的人体行为识别。并通过公开的人体姿态估计数据集和人体行为数据集验证改进的姿态估计算法及实现的行为识别算法,均具有较好的识别效果。本文针对实际应用中较骨架序列数据更易获取的原始视频序列数据展开行为识别研究。因视频序列具有空间和时间两个维度,本文在快慢网络(SFNet)的基础上设计一种分段式快慢采样的双分支网络模型(MSFNet),对两个维度的特征信息分别建模。并引入注意力机制以解决视频序列数据背景复杂冗余性高、运动信息不够明显的问题,可对视频序列中不同帧以及同一帧的不同位置给予不同的关注,学习对行为识别更为有效的时空信息,最终在公开人体行为数据集上进行验证,说明基于注意力机制的人体行为识别模型具有更好的识别效果。