人体动作识别是计算机视觉领域研究的热点问题,在智能机器人、视频监控等智能化系统中有着广泛的应用。由于人体运动本身以及运动场景的复杂性,人体动作识别仍然面临着诸多困难和挑战。传统的动作识别依靠单一的数据模式,提取的动作特征表述能力有限,约束了动作识别精度的提高。尤其是相似性动作的识别问题,以及缺少训练样本条件下的动作识别问题。本文在Kinect平台下,重点针对相似性的动作识别及缺少训练样本条件下的动作识别问题,研究了融合视频信息和骨骼点数据的人体动作识别方法。主要工作包括以下几个方面:首先是数据的准备,为了获取动作识别所需的视频和骨骼点数据,我们研究了Kinect的相关硬件组成和功能以及数据解析原理,在此基础上,完成了动作相关的视频和骨骼点数据的同步采集。同时,也做了相应的延伸,开发了两个Kinect模块的数据同步采集系统,可以为后续的研究提供不同角度的数据采集平台。在动作特征的表述方面,结合Kinect提供的骨骼点数据和视频数据,分别进行了两种特征表述的研究。在骨骼点数据的特征提取方面,通过构建关节点运动的速度向量,结合人体骨架结构向量,求取相关角度,表达人体姿态潜在的运动信息,提高姿态的鉴别能力。在视频数据的特征提取方面,通过骨骼点数据定位到彩色图像上的一块感兴趣区域,提取SURF特征描述子,结合词袋模型,表达人体运动的相关特征,针对遮挡导致的人体骨架模型变形的情况,补充有效的判据信息,提高人体动作识别的精度,经过实验验证,表明了特征的有效性。在动作识别的方法方面,首先在单一的数据模式上,重点基于骨骼点数据,针对不同的动作识别任务,提出了不同的识别方法,验证了骨架数据特征的有效性;然后针对存在遮挡,骨骼点错乱,导致骨架变形的情况,研究了如何融合有效的视频信息进行动作识别。在基于骨骼点数据的动作识别方面,针对动作特征表述类内差异大,类间差异小的情况,研究了类内多模板匹配结合PCA最大可分性的方法。考虑类内差异性,从每个动作类别提取若干子类,构造训练模板,将测试样本与训练样本投影到最大可分性的空间进行匹配投票,识别相应的动作。针对相似性动作识别,通过词袋模型构造姿态字典,引入GMM对相似的姿态按照概率软分配,并且考虑类平衡的问题,对算法进行了优化。针对缺少训练样本的情况下,基于One-shot learning的小样本学习的思想,通过K近邻方法从一组训练样本中提取关键姿态。经过筛选过滤,保留了鉴别能力较强的关键姿态,并根据他们对不同类别的贡献率进行加权投票,同时进行了实时的在线测试,取得了较好的效果。在融合视频信息进行动作识别方面,在前述方法的基础上,提出了介于特征层和决策层之间的融合机制,两路数据分别对不同的动作类别进行评分然后再汇总,进入决策层完成动作识别。经过大量的实验验证,表明了我们提出的融合方法可行,同时又具有较好的灵活性。