人体动作识别在计算机视觉、模式识别等领域中是一个热点问题,消费级深度传感器(如Microsoft Kinect)的出现和普及,使得利用深度数据进行人体动作识别研究受到了广泛的重视。深度数据对光照的变化、背景的杂乱以及视点的变化具有一定的鲁棒性,弥补了传统人体动作识别方法的不足。这一优势给人体动作识别的研究提供了很多新思路。尽管许多基于深度数据的动作描述符已经取得了可观的效果,但如何提取人体动作深度数据的特征还是一个有待解决的开放性问题;动作特征相对来说数据复杂、维度较高,设计一个高效的分类算法也是一个亟待研究的问题;对于目前广泛采用的利用深度学习技术自动学习特征的方案来说,由于受到样本数量的限制,还未能在人体动作识别领域取得很好的结果。面向这些问题,本文在前人的相关研究基础上提出了两种基于不同维度的深度数据特征融合的人体动作识别方法,分别从3D深度数据和4D深度数据出发,利用不同特征之间的互补性进行有效地特征融合,并探索更适合人体动作识别的分类方法,从而实现更好的识别效果。本文的主要工作如下:第一,针对基于深度数据的人体动作识别的相关研究进行整理与分析,并从人体动作深度数据的特征提取、人体动作特征的分类方法以及基于特征融合的人体动作识别方法三个方面总结了基于深度数据的人体动作识别的国内外研究现状。综合探讨了深度数据的类型、常见特征表示以及分类方法,形成整体的研究思路。探索了3D轮廓、时空兴趣点、骨架关节点以及点云信息四类特征的特性,并且对DTW、KNN、SVM、ELM和Softmax五种经典算法进行原理分析,从而探索出更加适合本文主题的深度特征表示方法和动作分类方法。第二,提出一种基于3D深度数据特征融合的人体动作识别的方法。该方法中提出了一种基于小波变换的人体轮廓特征方法,再通过K-means聚类找到最具有代表性的特征值,最后进行DTW算法对动作进行匹配分类。分类结果验证本文的轮廓特征就有一定的描述力。紧接着融合从深度图像提取的时空兴趣点特征和来自人体骨骼的节点数据,将这三种特征直接串联起来进行PCA操作,实现特征融合,最后采用SVM进行分类。通过对比实验验证本文所提方法的有效性。第三,提出一种利用4D深度数据进行特征融合的人体动作识别方法。该方法中提出一种改进的基于能量的时空金字塔来获取深度动作序列的时空信息。对提取的基于低级和高级的不同4D法线特征进行融合,其4D法线特征主要是4D曲面法线方向特征和超级法线向量特征,超级法线向量特征可认为是一种由低级特征演化而来的高级特征,其可以同时捕获局部运动和几何信息。根据提出改进的基于能量的时空金字塔方法,融合得到的最终特征具有较强的描述能力。最终采用BLS对动作进行分类。通过在三个公开经典的深度数据集上以及多种情况的小样本下进行不同的对比实验,本文方法取得了较好的识别结果。第四,针对上述的基于4D深度数据特征融合的人体动作识别方法中的分类算法训练速度慢的问题,提出了一种基于矩阵分解的快速宽度学习算法。在原始BLS中,随着映射节点和增强节点的增加,训练时间会不断增加,甚至动作的识别率可能会有所下降。针对这一问题,本文提出的改进的宽度学习算法利用矩阵分解的知识,将网络的输出层权重进行有效地分解,得到新的计算方式,从而减少训练的时间。在三个数据集上验证了所提算法在保证识别率不下降的前提下在训练时间上依然具有优势。