手势作为一种自然而直观的人际交流模式,已经成为一种重要的人机交互方式。基于计算机视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术。然而,由于手势本身具有的多样性、多义性、以及时间和空间上的差异性等特点,加之人手是复杂变形体及视觉本身的不适定性,因此基于计算机视觉的手势识别是一个极富挑战性的研究课题。本文的主要内容有：在手势检测部分,在综合分析和统计实验的基础上,本文提出利用YCbCr和HSV肤色模型的互补性以及背景模型能有效去除背景中的类肤色等特点,并实现了将YCbCr肤色模型、HSV肤色模型以及背景模型的多特征相融合的分割方法,有效地解决了肤色干扰问题。在手势跟踪部分,分析了Camshift手势跟踪算法,通过分析不足,根据手势跟踪的特点对Camshift算法进行了改进,提出了结合帧间差分法和Kalman滤波与Camshift算法结合的方法。首先在颜色概率分布图计算中通过帧间差分法加入目标运动信息,实现自动初始化跟踪并排除目标跟丢问题；当手势快速运动及遮挡等导致跟踪准确性低或跟踪失败之后,在搜索窗传递过程中利用Kalman滤波器预测目标的位置,根据跟踪状态对搜索窗进行调整,调用Camshift算法对目标进行迭代跟踪,重新定位并恢复跟踪,从而实现由半自动跟踪到全自动跟踪的转变。在手势识别方面,详细分析了基于傅里叶描述子和矩不变量的手势特征提取,提出基于Hu不变矩与傅立叶描述子特征组合的静态手势识别方法。针对动态手势模型的准确性和使用速度不协调的矛盾,提出了一种动态手势建模及有效提取的方法。该方法利用动态手势开始手形、结束手形和中间运动轨迹建立动态手势模型,利用边界矩提取动态手势特征。实验表明,该方法可实现动态手势特征的有效提取。