手语是聋哑人和外界交流的主要途径，对手语识别的研究有助于听障群体与其他人进行交流，并无障碍的享受社会提供的服务。　　在对手语识别进行研究的基础上，我们也对手语识别相关的手部跟踪和手型分割工作进行了研究。对于所要解决的基于Kinect数据的手语识别问题，在研究了手部跟踪和分割的工作后，不同于现有的HMM框架下的手语识别方法，接着提出一种基于轨迹和关键手型片段融合的手语识别方法。具体的工作如下：　　首先针对RGB-D手语视频数据中手部形变较大及运动过快的问题，提出融合手型、深度和位置三通道特征的手部跟踪方法。结合人脸检测功能，通过自动建立肤色模型来实现手部的自动检测，以此来确定跟踪目标，然后利用手型、深度和位置三通道特征构造目标估计函数和优化能量函数，实现双手的跟踪工作。在300个视频44810帧中，手部的跟踪成功率为91％。　　然后根据手部所处的不同位置，把手的状态主要划分为双手分开、双手重合和手脸重合这三种存在情况。对于双手分开的手型，我们利用肤色和深度进行分割；对于双手在一起的手型，认为此双手作为一个整体，不再对左右手进行单独分割；对于手脸重叠的手型，从肤色和深度上已经无法将手部和脸部区分开，可以利用手脸重叠前的脸部信息去剔除脸部的干扰，得到纯净的手型图。　　最后，由于手语的判别信息绝大部分集中在关键手型片段中，所以提出只需要全局轨迹和关键的手型片段进行手语识别的方法。利用并行的HMM框架进行轨迹识别和关键手型片段识别，然后在决策层进行融合，在370个手语词汇中，首选识别率达到92.64％，其性能与传统的HMM方法可比，同时极大地减少了时间的消耗。