视频序列中人体动作的自动分析、检索和识别是计算机视觉中一个重要的任务,是机器视觉、模式识别、人工智能等多个学科领域的交叉研究课题,在视频监控、人机交互,智能机器人、虚拟现实等领域具有广泛的应用。人体图像视频不仅包含了复杂的运动背景,还有光照变化、人体外貌变化等不确定性因素,这使得基于图像视频的行为识别具有一定的局限性。相比图像视频,人体骨架序列可以很好地克服这些不确定性因素的影响。因动态的人类骨骼点通常是最具有信息量的,以及人体骨架实时估计算法的成熟,所以基于人体骨架的行为识别受到越来越多的关注。人体骨架序列不仅包含了时序特征,而且还包含了人体的空间结构特征,如何有效地从人体骨架序列中提取具有判别性的空间和时间特征是一个有待解决的问题。本文基于深度学习算法,旨在设计出一种精确、高效且鲁棒的方法对动态的骨骼节点进行建模,将其用于行为识别,并将算法在数据集下进行验证。本文的主要工作和创新点如下:(1)对于人体的姿态信息首先使用两分支卷积神经网络分别获取到视频序列的空间特征和时序特征,然后通过融合时空特征得到动作表示,最后将姿态特征与通过长短期记忆网络提取的骨架信息进行融合。(2)对于人体骨架的空间特征,首先将人体骨架分解成五部分,对人体骨架分解的多个子骨架部分分别处理。然后使用三维图卷积神经网络对人体骨架分解的每一部分进行建模。最终依据各子骨架的空间关系进行特征融合来表示动作,此类动作表示方法可有效捕捉人体复杂运动的时空关系。(3)对于人体骨架的时序特征,首先对长的骨架序列进行稀疏采样以确保能够获取到骨架序列中的时序特征,然后将等长的短时序序列分别送入共享权重下的长短期记忆网络中,最后将整个长时序序列的输出结果作为骨架序列中的动态时序特征。将分别得到的时序特征和空间结构特征进行分类融合,达到动作识别的目的。上述方法在NTU-RGB+D和Kinetics两大公共基准数据集上进行了一系列测试,实验结果表明,本文优化后的行为识别算法的性能在不同数据集上都有一定的提升。