人体行为识别是计算机视觉研究的一个重要课题,有着巨大的研究价值和广阔的应用前景。目前,它的应用主要集中在智能安防、病患监护、人机交互等领域。传统的人体行为识别研究主要是基于RGB图像序列与深度图序列,在研究中其局限性不断显现出来:二者都面临着复杂背景的干扰,RGB图像更是丢失了深度信息。而基于骨骼数据的人体行为识别,排除了背景的干扰,并且数据量较小,于是慢慢吸引了研究者的关注。在2010年,微软推出了一款叫做Kinect的体感设备,该设备不仅可以获取RGB图像,还能获取深度图与骨骼信息。该设备的出现,使基于深度图与骨骼信息的人体行为识别研究更加便利。本文基于深度图与骨骼数据提出一种多特征融合的人体行为识别方法。在深度图方面,使用现已成熟并且表现良好的Depth Motion Map-HOG(DMM-HOG)特征。在骨骼数据方面,对Histogram of Oriented Displacements(HOD)特征进行多处改进,形成新的3D-HOD特征。然后,在DMM-HOG特征和3D-HOD特征上应用后期融合进行人体行为识别。HOD特征利用位移的尺度来构建描述符,不需要对目标的位置进行任何预处理,并且计算效率高。改进的3D-HOD特征继承了HOD特征的优势,并对HOD特征的缺陷进行改进。对HOD特征的改进主要有三点:1.对骨骼节点进行删选,去除手(Hand Right,Hand Left),足(Foot Right,Foot Left),脊柱(Spine)这5个节点,使用剩余的15个节点信息进行特征提取,保证特征准确性的同时减轻计算负担;2.HOD特征借助三个投影平面来构建三维轨迹描述符,本文将三维空间分为24个方向,在三维空间上对运动轨迹直接描述,更准确地反映出真实的运动变化,使描述符更为精确;3.利用符合运动规律的时间金字塔,使水平方向上的低层直方图之间存在较为理想的差异,更精确地表述时序信息。在多特征融合工作上,分析前期融合与后期融合,后期融合的优势在于可以对不同的特征分别设置参数,充分发挥多特征融合的优势。在特征选择上,使用深度图DMM-HOG特征与骨骼数据3D-HOD特征进行融合,由于这两种特征的提取来源不同,在特征提取中所关注的细节也不同,对同一运动行为进行描述时,两种特征具有良好的互补性,使得融合后对人体行为的特征描述更加准确。在实验中,使用MSR-Action3D数据集进行测试,选取HOD特征的多种配置与改进后的3D-HOD特征进行对比,证明对HOD特征的改进工作十分有效;选取多种基于深度图或骨骼数据的识别算法与应用特征融合的DMM-HOG+3DHOD特征进行横向对比,证明DMM-HOG特征与3D-HOD特征融合后具有优异的识别效果。实验表明,本文提出的多特征融合人体行为识别方法具有良好的准确性。