手势语言不仅是人体肢体语言的重要组成部分,还是人机交互的典型运用。而手语作为一种特殊的手势语言,是聋人参与社会生活的重要媒介。研究手语识别技术,不仅可以促进人机交互技术的发展,还可以帮助聋人更好地适应社会生活。目前大部分手语识别技术的研究对象都是手语词汇,对于手语语句的研究相对较少,主要的难点在于手语语句中词汇的分割。相对于手语词汇,手语语句的数据量更多,这导致了其研究的复杂性。本文提出了利用关键动作描述连续手语语句的基本思想。关键动作是手语的基元,通过关键动作来研究手语,可以从根本上减少待研究的数据量。本文的主要工作包括:首先借助于体感设备Kinect获取手型区域,并提出了一种适用于手型的特征提取方法和自适应的关键动作提取算法;然后从关键动作的特性出发,设计了一种针对手势关键动作的卷积神经网络结构,利用该网络对关键动作进行分类识别;接着针对连续手语语句难以分割的问题,提出了一种基于关键动作的双重概率转移模型的连续手语语句识别算法。通过分析词汇和句子的关键动作,构建了词汇内部和词汇之间的关键动作的状态转移矩阵。凭借这两个状态转移矩阵可以快速准确地实现对连续手语语句边界的检测,从而完成了对连续手语语句的分段识别;最后以上述算法为基础,本文实现了一个面向非特定人群的连续手语语句识别系统。该系统由离线数据采集和在线手语识别两个部分组成。实验证明,本文设计的算法可以面向非特定人群,并且有较好的准确性和稳定性。