论文部分内容阅读
从视频中跟踪三维人体运动在智能人机交互、视频监控、影视动漫、医疗康复等领域有着重要的应用,是计算机视觉领域的一个研究热点。由于人体运动比较复杂,视频信息不充分并且包含大量的噪声,因此,如何鲁棒的从视频中估计人体的三维运动是一个具有挑战性的课题。
本文研究单目视频中的三维人体运动跟踪问题。该问题的本质是根据图像信息在高维姿态空间(三维人体姿态往往包含30~50个自由度,因此姿态空间维度很高)中搜索。本文把这种搜索看作是一个优化问题,即通过最小化一个目标函数得到姿态的估计,该目标函数表示了人体姿态与观测图像之间的某种匹配程度。由于图像信息不充分并且存在大量噪声、人体姿态维数很高,这个目标函数往往存在大量局部极小点,传统的基于梯度下降的优化方法一般很难凑效,因此,本文采用随机搜索的方法优化姿态。我们用粒子滤波作为随机搜索的基本工具。粒子滤波用带权值的粒子(即姿态)集合表示姿态的分布,从后验分布中可以得到对姿态的估计。粒子滤波提供了一个基本的运动跟踪框架,它包含两个主要组成部分,即粒子似然函数和重要性采样函数,前者用于评价粒子与图像的匹配程度,后者用于对粒子进行传播和扩散。本文以步态运动跟踪为实例,对这两个函数进行了研究,取得了以下成果:
(1)提出了一种基于图像约束的粒子筛选策略
粒子滤波方法中,粒子是根据重要性采样函数生成的,通常没有反映图像信息,因此得到的粒子中有相当大的一部分与图像存在明显不匹配现象,比如粒子对应姿态的投影超出了图像中人体轮廓的范围等等。如果对这种粒子进行评价,既浪费了计算资源,又会给姿态估计的结果带来较大的误差。为此,本文提出了一种基于图像约束的粒子筛选策略,由两个简单的筛选准则构成,这些准则可以通过样本估计出来,它们的计算复杂度比粒子评价的复杂度低。这个筛选策略与基于底层视觉特征的似然函数相结合,得到了一个层次化的粒子似然函数。在该函数的顶层,通过筛选准则剔除那些不满足约束的粒子,这样得到的粒子集合都符合图像约束。通过筛选的粒子进入似然函数的底层做进一步的评价。本文的似然函数避免了不必要的粒子评价,也减少了错误粒子对跟踪结果的干扰。实验表明该方法简单有效。
(2)提出了一种基于局部动态模型的运动跟踪方法
粒子滤波跟踪通常用运动的动态模型作为重要性采样函数。本文分析了步态运动的动态模型,发现在姿态空间的不同区域,人体姿态的变化具有不同的规律,具体表现为姿态各个自由度的加速度协方差是随时间改变的。采用固定的协方差对粒子进行扩散往往会使得粒子的分布与姿态的真实分布偏差较大,导致姿态估计的误差较大。针对这个问题,本文提出了一种基于局部动态模型的粒子滤波跟踪方法。我们在跟踪过程中从运动库检索出与前一帧姿态相似的姿态,构成一个局部区域,在这个局部区域估计动态模型。由于这个小区域内的姿态具有非常相近的动态特性,因而用这些姿态训练的动态模型可以很好的刻画该区域内的人体运动规律,使得粒子散布在姿态后验分布密度较大的区域。实验表明该方法有效的提高了运动跟踪的效果。
(3)提出了一种周期性运动的参数化描述方法-运动曲线模型,并用于粒子采样
在粒子滤波中,动态模型不能表示姿态的分布,因而不能约束粒子的分布区域。当粒子分散在姿态分布密度较低的区域,通过粒子滤波得到的姿态就会出现较大的误差,甚至是错误的。针对该问题,我们研究了描述低维姿态空间分布结构的方法,提出了一种周期性运动的参数化模型-运动曲线模型,该模型把周期性运动表示为低维空间中的参数化曲线,包括均值曲线和方差曲线。均值曲线是一个以时间为自变量的函数,通过改变输入可以得到不同时刻的人体姿态。为了刻画同一时刻人体姿态的差异,我们在这个曲线上建立了一个概率分布模型,这个模型用任意时刻的姿态方差来表示该时刻姿态的分布特征,我们把这个方差也表示为以时间为参数的曲线(方差曲线),这样可以刻画不同时刻人体姿态的不同分布特点。这两个曲线构成了人体运动的运动曲线模型,它描述了周期性人体运动的空间分布特征。我们把这个模型用于粒子滤波跟踪。实验表明该方法很好的约束了粒子分布,有效的提高了跟踪精度。