行为识别是计算机视觉领域的一个重要研究方向,在智能监控、智能家庭、智慧城市等方面都有着重要的应用。基于视频的行为识别方法一直是研究的热点,在人体行为识别研究对象的分类中,相对于手势、步态等单人行为,交互行为和群体行为在时空建模,理解复杂度方面具有一定的挑战。本文针对单人行为与交互行为为研究对象,从关键帧选取、特征提取及网络模型等方面进行研究,构建有效特征,提高识别效果。首先,现有关键帧选取规则会批量提取连续的帧图像,难以从整体上对运动变化过程进行描述。考虑行为变化过程中运动量的描述,提出基于相邻图像帧之间像素值的动态变化构建动态变化曲线,提取局部极大值选取帧图像。其次,现有运动特征的提取会从帧图像全局、局部,动作变化快慢等不同维度提取特征序列。考虑到动作变化时背景信息与运动信息的连续性,同时相比较于片段式的连续光流的行为信息表达,本文提出构建历史序列的方法,将图像压缩过程中产生的运动场代替光流,使用静态历史序列（Static History Sequence,SHS）与动态历史序列（Dynamic History Sequence,DHS）来捕捉每个局部细微动作作为行为变化的视觉信息。最后,本文提出采用分组特征与多模型融合的方法,构建PABi-GRU（P（Progressive Net）-A（Attention）-Bi（Bidirectional）-GRU）网络实现特征提取与序列化建模,解决密集标注视频流中复杂时间关系的建模问题。在模型建模中,首先提出递进式网络Progressive Net进行特征表示,堆叠的网络结构在提取更深度信息的同时,暗含了从粗到细的渐进监督原则。其次,引入一个金字塔池化结构,通过构建不同层次的特征来有效学习动作实例之间的特征表达。同时,在序列化模型构建中,通过注意力机制以及双向门控循环单元学习视频序列的特征。通过关键帧选取、特征提取、基于注意力机制的序列化网络对单人手势和交互行为数据进行模型训练与分析。实验结果表明,本文构建PABi-GRU网络通过多组尺度特征融合的方法,在单人手势20BN-JESTER与交互动作UT-interaction测试集上,识别准确率分别达到88.9%和83.2%,可实现视频序列中人体行为的有效建模。