人体行为识别是一项通过对视频中相邻帧的空间关系建模,让计算机自主理解人体行为的技术。在人与计算机的非接触交互与机器人教练任务中,需要机器人对人体手部行为进行识别。然而目前行为识别算法不能准确地理解人体手部行为,且不能很好的利用标签中各个不同行为之间的联系。因此,对人体手部行为识别算法进行研究具有重要意义。针对视频帧提取时存在冗余帧的问题,对结构相似性算法进行改进,实现基于最小结构相似性的关键帧提取算法。该算法利用两帧的结构相似性表示帧间的冗余信息,剔除没有明显行为的视频帧。针对目前视频特征提取模型不能充分利用视频帧间关系的问题,对信息传播算法进行改进,提出一种基于局部信息传播的时间聚合算法。该算法由三层卷积结构组成,其中前两层卷积具有三个不同的卷积核尺寸,克服了多次帧间信息聚合出现的过平滑现象;第三层采用帧间运动激励算法进行优化,通过注意力机制对视频帧的特征重新计算,增强连续帧的特征表达能力。为了解决标签特征中的先验信息不能被识别模型直接利用的问题,引入多模态融合的思想,对低秩双线性融合算法进行改进,实现基于多模态融合的行为识别算法。算法中将每个标签的特征向量与视频特征向量进行低秩双线性融合,根据不同类别的融合结果计算视频在不同类别的得分并分类。最后,使用公开数据集Something Something对算法进行测试。测试结果表明,将局部信息传播算法和低秩双线性融合分类算法相结合在Something SomethingV1的识别准确率达到45.14%,相较于文中对比的三种模型,分别提高了 9.7%、6.24%、1.78%;在 Something SomethingV2 的识别准确率达到 54.99%,相较于文中对比的两种模型,分别提高了 6.14%、3.82%。结果表明,改进的信息传播算法能获得更优的行为特征,基于低秩双线性融合的分类算法能提高分类的准确率,所诉两个算法对人体手部行为识别具有一定的参考价值。