人体动作识别是机器视觉范畴内的一个重要研究方向,目前在人机交互、医疗复健领域应用广泛,未来将在智能监控等方面持续发力。根据研究方法分类:第一种是基于特征工程的研究,第二种是基于深度学习的研究。由于光照和背景等因素无法显著影响骨骼数据的表现,因此骨骼数据在动作识别上的优势是显著的。本文以3D骨骼数据为基础,首先对动态时间规整算法进行改进,将提取到的特征表示为特征量矩阵,并应用逐行计算的DTW算法;随后改进得到了基于分层模型的RNN-LSTM动作识别算法,将骨骼模型进行肢体划分,随着层次深入将各部分进行融合,并使用RNN和LSTM提取骨骼模型的表示;最后优化得到了基于免疫优化有向图卷积网络的动作识别算法,利用聚类算法确定图网络的初始权值并基于免疫思想优化图网络的训练过程。本文的主要研究成果如下:1.利用改进的动态时间规整算法解决动作识别问题。首先设计了相角和欧式距离以及运动轨迹两种特征,接下来将提取到的两种特征表示为特征量矩阵,最后应用逐行计算的DTW算法训练动作模版,并完成动作的匹配识别。从MSRC-12数据集中选取了五种动作,动作识别的成功率达到了87.0%,并且对比逐行计算的DTW算法与一般的DTW算法的效果,逐行计算的DTW算法表现出了明显优于一般DTW算法的性能。2.改进得到基于分层模型的RNN-LSTM动作识别算法。模型首层将完整的人体骨骼模型进行划分,包括躯干、左手臂、右手臂、左腿和右腿,共五个部分。将五部分的数据分别馈入5个RNN子网,进而学习各部位的表示;将提取的表示融合为上身和下身两部分,并馈入具有LSTM结构的网络层学习上身和下身的表示;将上身和下身的表示最终融合为骨骼模型的整体表示,使用同样具有LSTM结构的网络层对全身的表示进行学习;将整体的表示结果输入全连接层,最终通过Softmax层预测动作所属的分类。在NTU RGB+D数据集上,从Cross-Subject和Cross-View两种评价角度进行动作识别实验,分别达到了63.4%和72.9%的识别准确率,并将此改进的分层模型与其他算法进行了对比实验。3.改进得到免疫优化有向图卷积网络的动作识别算法。首先利用动作序列的骨骼信息和关节信息进行动作描述;其次利用人体骨骼和关节的相关性,将骨骼模型构造为有向图;随后,构建有向图网络块和时序卷积块,以此为基础构建双流网络模型;接着,利用基于遗传思想的聚类算法确定图卷积网络的初始权值,并使用免疫算法优化图卷积网络的训练过程。在NTU RGB+D数据集上,从两种评价角度进行实验,分别达到了90.1%和96.4%的识别准确率,并将此模型与DGNN及其它优秀的动作识别模型进行对比。