论文部分内容阅读
人体动作识别是计算机视觉、机器学习、图像处理等多个领域的研究热点,传统的基于RGB图像的动作识别方法由于易受光照、遮挡、视角变化等环境因素的影响,识别率不高。而从深度图像提取的位置信息不易受光照、视角变化等因素影响,并能简化人物与背景的分离提取操作。同时,随着深度相机的普及以及骨架关节点评估技术的成熟,近年来有更多研究者专注于基于深度数据的动作识别方法的研究。从图像序列中提取出能够表征人体运动特性的关键信息是动作识别中的重要部分。现有文献中的基于深度图像的人体运动特征描述大多直接采用评估得到的3D关节点位置信息,这种人体运动特征描述方法存在大量的信息冗余。本文借鉴背景相减技术,提出了一种新的人体运动特征描述方法。它以整个动作序列的初始帧为参考帧,通过计算其余姿态帧3D关节点位置与参考帧对应节点之间的位置差别作为整个动作序列的一个特征表达。该特征描述子在不增加特征向量维数的基础上大幅度消减了人体运动风格差异所产生的的影响,同时降低了数据的冗余度,具有平移、视角无关性等优点。在观察空间下人体运动特征描述子具有较高的维度和计算复杂度,而流形学习方法能够有效地将高维空间的运动数据光滑嵌入到低维隐空间中,从而得到低维的运动模型。鉴此,本文提出了一种基于流形学习的动作识别方法。在训练阶段,采用拉普拉斯特征映射方法学习得到低维隐空间的动作模型。在测试阶段,采用最近邻插值方法将测试序列映射到低维运动模型中。在匹配过程中本文提出了新的匹配标准,该标准综合考虑运动模型与测试序列长度特征,采用Hausdorff距离来衡量两个序列的相似度和吻合度。动作序列是有序的姿态组合。考虑到姿态之间的时序约束关系,本文提出了一类基于局部窗口匹配的动作识别方法。该方法对传统词袋模型中的模型学习、特征量化、对象描述等多个环节进行了改进。在模型学习阶段,用局部训练法取代了传统的整体训练法,提高了特征词汇的表征性。在特征量化阶段,采用自适应局部线性重构取代了传统的直接量化。在对象描述阶段,分别采用了时间金字塔、滑动窗口两种片段划分策略,将整个动作序列划分成多个动作片段,并在相应的局部窗口内计算对应的特征表达。然后将各个局部特征表达组合构成整个动作序列的特征描述。最后在动作匹配过程中,采用直方图相交操作衡量两个动作序列的相似度。此外,本文根据上述两类动作识别方法设计了一套基于Kinect设备的动作识别系统,系统对自采集的动作样本识别效果良好。同时,本文还在权威数据库MSR Action3D上测试了两类方法的识别性能,效果良好。本文的实验结果表明所提的两类方法适用于基于深度图像序列的人体动作识别。