最近几年来,随着计算机技术的迅速发展,研究符合人际交流习惯的人机交互于段取得了较大的进展.人的手势作为人们日常生活中最广泛使用的一种交流方式,手势识别的研究受到了越来越广泛的关注,然而由于手势本身具有的多样性、多义性,以及时间和空间上的差异性等特点,加之人手是复杂的变形体以及视觉本身的不适定性,使手势识别成为一个具有挑战性的多学科交义的研究课题。 本论文的主要的创新工作如下: 1)提出了基于主动外观模型(AAM)的手势特征提取方法。其目的是为了利用所建立的AAM来有效地描述未知的输入图像,并实现模型生成的合成图像与输入图像的误差最小化。该方法优点在于综合考虑手势图像的形状信息和灰度信息而实行对手势的精确分割。 2)提出了基于LLE的手势特征提取算法。该算法将输入向量认为是高维空间的点,并具有k个邻域点。利用邻域点的线性组合重构该点,并在低维空间中寻找原始数据组的插值,通过最小化插值损耗函数保持原高维空间的几何特征,从而提取各类手势图像的内在特征,达到非线性降维的目的。 3)针对手势数据的相似性,提出了一种改进的模糊粗糙集近邻分类算法(FRNNC)。手势数据存在着的相似性,以及同类手势因视角不同而产生的差异,这些都造成了输入数据本身存在一定的模糊粗糙不确定性.改进的FRNNC算法从每类样本中选出最能代表该类样本分布的聚类代表点,计算测试样本到各类聚类代表点的平均相似度,从而达到对手势图像的识别.与基本的FRNN算法相比,以极小的识别率代价换取了分类速度的较大提高。 4)应用了基于容错粗糙集(TRS)的两步分类法对手势图像进行分类识别。在手势识别中,还包含有不能确切判定是否属于给定类的对象,这是由其类边界域的模糊性引起的.基于TRS的两步分类法,第一步对测试样本进行下近似集分类,若无法判定则在第二步中使用基于上近似集的粗糙从属函数进行再次分类,此外对一些难以分类的样本进行拒绝。 5)使用HMM门限模型用于动态手势时问域的分割,以区分孤立于势、复杂手势和干扰手势.同时研究了基丁DTW和HMM的动态手势识别方法。 6)建立了一个结合人眼注视方向的于势交互系统。应用基于Adaboost算法的办法,解决了人脸检测与特征点定位问题,这是确定人眼注视方向的关键。 本文研究了手势特征提取和于势分类方法。利用肤色、运动等信息对手势进行分割,提出了基于主动外观模型和基于局部线性降维的手势特征提取方法,实现了对手势图像的精确分割与特征提取。并应用基于粗糙集理论的模糊粗糙最近邻和容错粗糙集算法对手势进行分类识别.另外,使用了基于HMM的门限模型方法实现了对动态手势的时间域分割.最后建立了一个结合人眼注视方向的非接触式人机交互系统。 手势分割是整个手势识别分析的重要一步,其精确性直接影响系统的识别率.本文为建立一个在复杂背景下实时有效的手势分割系统,运用了融合多种信息的方法实现手势区域的分割。实验中手势分割频率为20帧/秒,满足实时性的要求。 提出了基于主动外观模型(AAM)的手势特征提取方法,综合了图像中手势的形状信息和灰度信息,利用所建立的AAM有效地描述未知的输入手势图像,实现由模型生成的合成图像与输入图像的误差最小化,从而实现对手势的精确分割与特征提取.对于2D灰度图像,提出了基于局部线性插值(LLE)特征降维的特征选取方法.该算法将2D灰度图像本身认为是高维特征向量空间的点,并具有k个邻域点,利用邻域点的线性组合重构该点并提取重构权值,由高维向量的重构权值计算其低维插值坐标,从而在低维空间中保持了原高维空问的局部几何特征,达到非线性降维的日的,实现对有效手势特征的选择。 在手势识别过程中,由于不同类手势数据中存在着相似性,即输入样本存在着一定的模糊粗糙不确定性,以及图像边界域具有非明确(粗糙)关系。因此,提出了改进的模糊粗糙近邻分类算法和基于容错粗糙集的二步分类算法,并将其应用到手势分类中,实验表明其分类效果较为理想。 在动态手势识别中,手势的时间域上的分割是一个难点问题.本文使用了一种使参考阈值能随着测试样本及模型样本动态变化的门限模型,用于区分孤立手势、复杂手势以及干扰手势,从而获得动态手势的状态特征。 本文最后建立了一个结合人眼注视方向的非接触式人机交互系统,使用基于Adaboost算法的人脸检测及其特征点定位方法,判断分割出的手势是否为有意手势,从而实现非接触控制系统的智能化。