手语是聋人使用的语言,是聋人进行日常交流的主要方式。手语识别不仅可以为聋人提供方便,同时也可作为拟人化人机交互的一个研究平台,具有重要的学术价值和广泛的应用前景。由于基于视觉的手语识别更加自然,使用更加方便,因而正得到越来越多的研究者的关注,也取得了一定的进展。但是对其研究现状的分析表明,目前的研究主要是针对手部信息进行处理、建模和识别,但手语是以手形、手臂运动并辅之以表情、唇动及其它体势表达思想的人体语言,手势和表情在手语识别中起着关键作用,并且有实验表明,当只有手势而没有表情时,人所能理解的内容估计不超过60%,因此本文在利用手部特征进行手语识别的基础上,融合了面部表情特征进行手语识别,以期提高手语识别的效率。具体而言,本文的主要研究工作包括:1.本文在YCbCr色彩空间中,先后通过亮度和色度信息对图像进行分割,代替了原有的RGB空间的分割方法,得到了较为鲁棒的分割效果:同时利用肤色模型并结合区域连通来提取双手区域,然后利用椭圆拟和方法,对双手进行特征提取。2.实现了通过Gabor变换提取面部表情特征。本文首先对定位的左、右眼部及嘴部3个特征区域进行灰度和尺寸归一化处理,并对特征区域网格化,共选取网格上的12个关键点作为提取表情特征的关键点,然后通过对其进行Gabor变换来提取表情特征。3.对手部特征与面部特征的融合进行了研究。分别采用特征层融合和决策层融合的策略对手部特征与表情特征进行融合,并对实验结果进行了分析。