基于自然手势的交互方式具有广泛的应用领域,是未来人机交互的主要方式之一。本文的基于视觉的手势识别主要包括:手势分割、手势特征提取、静态手势识别、动态手势识别。其中手势特征提取部分决定了之后的手势识别的准确率,本文重点研究自然手势操作中的特征提取。动态手势识别是让计算机对交互者的手势序列进行识别,从而理解人的交互意图。基于视觉的手势识别系统是在自然环境下进行的,因而受到外界光照的影响。为了降低基于YCbCr颜色空间的肤色提取方法受外界光照的影响,本文将背景差分法融合在手势分割算法中,得到了准确完整的手势二值图。手势特征提取包含两部分:用于手形识别的Zernike矩特征和结构特征组成的多特征融合的手势特征向量,用于手势方向判别的椭圆拟合主方向特征的提取。由于手势的主方向和大拇指的主方向差别较大,且手势主方向的特征提取在手形特征提取之后进行,本文通过指尖定位以及凸缺陷深度点的定位将大拇指进行了切除,大拇指的切除不会影响手形的特征提取,且保证了手势特征的正确提取。静态手势识别使用了简单有效的基于模板匹配的欧氏距离方法。完成静态手势识别后,本文利用动态时间规整算法消除图片序列的时空差异性完成动态手势识别,实现了对9种手势的分类识别,并且在保证识别率的同时满足了系统的实时性。本文的实验环境是VS2010和OpenCV图像库,实验样本采用剑桥大学的动态手势数据库,手形的平均识别率达到了96.85%,手势主方向的平均识别率达到了99%。