随着智能化的不断普及,人机交互方式也在不断发生变革。作为人机交互领域的研究热点,体感交互符合人类日常交流习惯,在虚拟现实、智能家居等诸多领域具备广阔的应用前景。目前,体感交互系统大多采用单一的光学传感器或者惯性传感器进行人体动作的识别,存在一定的局限性。基于视觉的人体动作识别需要克服目标被遮挡、相机位置、背景杂乱等问题,算法的鲁棒性往往无法得到保证;另外,长时连续动作的自动分割对基于视觉的方法而言,也存在一定困难。基于惯性传感器的人体动作识别系统需要在人体身上佩戴多个传感器节点,使用较繁琐;并且在运动过程中,传感器佩戴位置的移动以及累积误差会影响系统的识别率。本文提出了一种新的基于深度相机与加速度传感器特征级融合的人体动作识别方法。首先,利用深度相机和加速度传感器搭建了一套数据采集系统,实现了彩色视频、深度图像与三轴加速度信号的同步采集,建立了CAS-YNU多模态人体动作数据集。然后,在深度图像序列上进行时空分割,对得到的深度立方体单元计算时间运动响应并提取HOG特征,作为深度图像特征;对于加速度信号,利用滑动时间窗分割并提取FFT系数,作为加速度信号特征。接着,根据判别相关分析最大化深度图像特征向量和加速度信号特征向量对应分量之间的相关性,同时解相关每个特征向量中属于不同类的特征;通过得到的最优投影变换矩阵计算不相关的组合鉴别特征,作为最终的特征描述子。最后,采用线性SVM进行模型训练和动作分类。在CAS-YNU多模态人体动作数据集上的实验表明,本文提出的人体动作识别方法具有较高的准确率和较好的实时性,适合体感交互的实际应用,具有较高的应用价值。