手语识别是人机交互的典型应用,手语不仅是聋哑人之间进行思想交流的语言,也是他们与外界进行沟通的重要方式。研究手语识别可以帮助聋哑人与正常人之间进行无障碍沟通,此外更进一步加强计算机对人类肢体语言的理解能力。但是目前的手语识别研究大部分是针对手语词汇进行识别。由于对手语语句的词汇分割存在困难,因此目前针对手语语句识别的研究比较少。对自然语言进行识别,最重要的是能够分割出其中所包含的词汇。因此本文提出了一种基于关键帧的连续手语语句识别算法。关键帧可以看做是手语词汇的基本组成单元,有了关键帧即可得到相关词汇,进而根据隐马尔科夫模型组成连续的手语语句。避免了对手语语句直接做分割的难点。本文首先提出了一种自适应的基于手语轨迹的关键帧提取算法,然后设计了一种支持在线学习的增量式随机森林对关键帧进行分类识别。接下来设计了一种基于加权关键帧的手语语句识别算法,最后本文设计实现了一个连续手语语句识别系统,可以面向非特定人群,并且是在人机自然交互状态下完成识别。整个系统仅需一台体感设备与普通计算机,不仅使用方便而且对背景环境没有特殊要求。系统测试表明,本文提出的算法,稳定性高,容错性好,可以实时准确的识别出有意义的手语语句。