论文部分内容阅读
近年来,随着计算机视觉以及视频监控等相关技术的发展,基于视频的人物运动分析得到了越来越多的关注。人物的运动分析包括多个方面:头部姿态估计、人体姿态估计、人物动作的识别与检索、步态识别等。人物的运动分析对于理解人物的态度、意图、身份等信息具有不可替代的作用。基于视频的人物运动分析研究内容非常丰富,包括单角色的人物运动分析以及多角色的人物运动分析,同时涉及到计算机视觉、模式识别等多个相关领域。总体上,人物的运动分析主要是通过对底层的数据(视频、图像、运动捕捉数据等)进行分析和理解,从中提取出与人物的运动相关的语义特征进行分析,从中得到有关人物的身份,态度等多种有用的信息。基于视频的人物的运动分析已经被应用到人们生活的不同领域中,主要包括1)智能人机交互领域,2)智能视频监控领域,3)动画、游戏、电影制作领域等。本文在系统化论述了基于单角色视频的人物运动分析的相关问题上,着重对单角色的人头姿态估计、基于视频的人体运动捕捉数据检索、步态识别这三个人体运动相关子课题进行了研究。人的头部姿态估计被广泛的应用于人机交互、安全驾驶等领域。如何自动并且有效的估计头部姿态具有重要意义,也是本文研究的内容之一。其次,人体动画等领域的快速发展对于人体运动捕捉数据的需求不断增加,然而采集大量的人体运动捕捉数据代价很大,如何方便有效的重利用已有的人体运动捕捉数据也是本文研究的重要部分。另外,本文还研究了根据视频中人物的步态来识别人物的身份信息。步态识别可以在远距离非打扰情况下根据人的走路方式识别人的身份信息。由于不需要用户配合采集,所以步态识别极易受不同变化因素的影响,例如视角、背包、外套以及速度等,这些变化使得步态识别面临着很大的挑战。而且,通常大部分的视频监控范围有限,只能获取人的很少量的步态序列信息,如何提高少样本情况下步态识别的性能也是本文研究的重点内容。本文的主要工作和创新点包括:1.提出了两种基于块能量图的自动的头部姿态估计方法。自动并且有效的估计人物的头部姿态是很多计算机视觉应用的关键部分。本文提出了一种新颖有效的头部姿态描述,称为块能量图。通过把块能量图描述符分别与两种有效的非线性回归机:支持向量回归机以及高斯过程回归机,相结合组成了两种有效的头部姿态估计方法。本文提出的头部姿态描述符以及完整的头部姿态方法可以自动的定位人脸位置然后进行有效的姿态估计,同时对于不同身份、人脸定位偏移等因素的影响有一定的鲁棒性。2.提出了一种有效的基于视频的人体运动捕捉数据检索方法。目前,基于视频的人体运动捕捉数据检索方法很少,该问题的主要难点在于如何有效的描述视频帧序列与3D人体运动捕捉数据这两种不同模态的数据。本文提出了一种基于运动能量图的新颖的、判别性的人体运动描述符。具体的,对于每一个视频或者运动捕捉数据动作序列,我们先计算其对应的归一化的运动能量图,然后提取它的增强的Gabor张量特征,进而把它投影到一个判别性的子空间得到了判别性的运动描述符。基于该运动描述符我们提出了一个有效的基于视频的人体运动捕捉数据检索系统。此外,我们采集了一个人体运动捕捉数据库和一个视频运动数据库,两个数据库包括多种日常的动作类别用于研究基于视频的运动捕捉数据检索工作。3.提出了基于步态能量图子空间投影与联合描述分类的步态识别方法。本文进行了较为全面的基于视频的步态识别技术的调研,并且把这些方法进行分类、分析。同时,本文提出了一种新的步态识别算法。具体的,本文通过对步态能量图进行分析,提取其重要区域,然后通过连续的子空间降维方法得到了有效的判别性的步态描述符,简称为GSP。基于GSP特征描述,本文利用联合描述分类方法进行识别。此外,本文设计了全面的实验来评估提出的方法,实验结果显示该算法具有一定的有效性和通用性。4.提出了一种基于稀疏变化字典学习的单样本步态识别方法。目前,大部分步态识别工作尚未关注小样本问题,然而在实际的应用中,人们通常只能获取到极少量的步态序列。本文利用一个额外的通用训练集来辅助单样本步态识别问题。通过学习稀疏变化的字典自适应的建立起注册集与通用训练集之间的对应关系。本文通过把学习到的稀疏变化的字典整合到基于稀疏编码的识别框架下,可以较好的处理单样本步态识别中不同变化因素的影响。