论文部分内容阅读
近年来,计算机视觉的研究随着当代计算机科技的高速发展而越来越热门。除基本的彩色视频外,Kinect还能够提供相应的深度图像和骨架数据信息,这些信息使得人体姿态行为识别的研究得到了跨越式发展。深度图像信息能够额外反映从观察对象到摄像中心的距离信息,并忽略衣服、背景等的颜色差异,对光照的变化也并不敏感;而且Kinect通过20个关节点共同定义而构成的人体骨架更是遵从姿态行为的产生均是由于人体骨架的变化这一本质。本文围绕Kinect提供的多种数据信息,针对基于深度数据的人体骨架提取以及基于骨架信息的人体坐姿行为识别进行了分析和研究,论文的主要研究工作如下:(1)提出一种基于深度图像数据分层性的多层人体区域骨架提取方法(Multi-layer Human Skeleton Extraction Method Based on Depth Image Data Delamination,MHSE-DIDD)。针对当前Kinect系统中骨架提取时面临的肢体自遮挡问题,本文利用Kinect深度图像2.5D的数据特点,将图像分割过程分为两步进行,第一步把阈值化原理应用于深度图像数据得到深度阈值,进行初次分割,然后利用该深度阈值与人体图像区域极限深度值的差值计算得到新的深度阈值,再进行二次深度图像分割,优化最终参与骨架提取的人体区域深度图像分割结果。实验结果表明,本文提出的方法能够在一定程度上解决人体自遮挡问题,得到较完整的、无冗余分支的人体骨架。(2)提出一种基于骨架序列特征的人体坐姿行为识别方法(Human Sitting Activity Recognition Method Based on Skeleton Sequence Features,HSAR-SSF)。在该方法框架中,首先简化Kinect的骨骼关节点定义,提取基于骨架信息的时空描述局部特征,然后使用K-means聚类算法和主成分分析(Principal Component Analysis,PCA)算法得到特征聚类结果的局部聚合描述向量符,接着采用自定义损失函数,通过全局随机梯度优化算法,提出使用两阶段度量学习过程,得到判别信息的最终特征变换结果,最后基于该度量变换,采用非参数K-近邻(K-Nearest Neighbors,K-NN)分类器进行姿态行为的分类识别。实验结果验证该方法框架在人体姿态行为识别上的有效性和准确性,并在人体姿态行为识别上也有良好表现。