当今世界,人类与计算机的关系越来越密切,而人类与计算机的交互已成为日常生活不可缺少的一部分。近些年来,各种各样的新颖的人机交互技术的研究变得异常活跃,这些研究包括人脸识别,手势识别,体态的识别与跟踪等等。基于视觉的人类姿势识别,是一种人机交互中的新兴技术,它摆脱了很多传统的束缚,更符合人际交流的习惯,实现了一种自然地交流。而由运动空间构成的这些被身体,面部,手等所表达的姿势中,手势是最富有表达性和最被频繁使用的,近几年来,许多研究人员在这方面做了大量的工作。本文在一个具体的复杂背景下,从手势识别的各个细节着手,综合对比各种动态手势的识别方法,指出其存在的不足,进一步改进提出新的方法。对于手势轨迹特征向量的提取,本文首先采用基于YIQ, YUV色彩空间进行肤色分割,利用普通帧差法分割出运动的手势,对色彩空间的肤色图像和帧差法的结果图像求交集,消除类肤色人脸的干扰,消除手势图像中其它运动物体的干扰,区域连接消除噪音和填充手势区域,提取每一帧手势图像的质心组成手势轨迹特征向量；并综合以上的分析,改进了一种基于H通道帧差法,YUV与YIQ色彩空间肤色分割和CamShift算法的手势轨迹特征向量提取方法。最后详细分析了隐马尔可夫模型的相关理论以及在信号识别中的应用,并结合手势识别建立隐马尔可夫模型分类器,对6种简单手势进行训练,分类识别,取得了较高的识别率。