基于神经网络的中小词汇量中国手语识别研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:iceqi77
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
手语,作为聋哑人群体的常用语言,在聋哑人与普通人间搭建了一座自由沟通的桥梁。然而,鉴于手语对普通人来说依旧晦涩难懂,两个群体间的交流障碍仍然时常发生。如果能够通过手语识别技术,将手语转换为文字或者语音进行表达,将极大地便利聋哑人与普通人间的交流。同时,作为人机交互领域的一个不可或缺的分支,手语识别研究也在当今这个智能时代显得愈发重要。数据获取与处理、特征的设计以及识别模型的选择是一个高效的手语识别算法所必须考虑的三个因素。微软的Kinect设备能够方便经济地捕获精确的颜色图像、空间深度映射数据以及关节点坐标,相较于传统的数据手套或者二维摄像头更具优势。因此,本文将以Kinect作为手语数据获取设备,对手语识别中的手语特征设计与识别模型构建进行研究,主要研究内容包括:1.依据手语词汇的手形特点,设计了一种新型的手语特征手形(Specific Hand Shape,SHS)特征。本文通过分析中国手语词汇的手形特点,提出了设计手语特征手形库所需遵守的的6条准则与一种快速构建中国手语特征手形数据库的方法。依靠特征手形数据库,结合卷积神经网络,设计了一种新型的SHS特征。该特征针对手语特征手形的分类正确率达99.59%,而传统的方向梯度直方图特征则只有94.35%,实验结果显示SHS特征对手语手形的表征效果更好。2.依据长短时记忆(Long Short-Term Memory, LSTM)循环神经网络算法,提出一种基于LSTM编码器-解码器结构的孤立词手语识别算法,在80个手语词汇数据集上进行实验,识别准确率达98.67%,优于传统隐马尔科夫模型方法。3.在单向LSTM的基础上,结合手语构词特点,使用双向长短时记忆(Bidirectional Long Short-Term Memory, BLSTM)循环神经网络算法提取手语的上下文信息,研究了一种基于BLSTM编码器-解码器结构的连续词手语识别算法,在由20个手语词组成的句子库上取得了 94.63%的识别率,优于基于单向LSTM结构的方法。
其他文献
在雾或雾霾天气条件下,受大气散射效应的影响,户外场景的能见度很低。这不仅给人们的生活和工作带来了不便,还使得拍摄的图像严重退化。雾天图像模糊不清、颜色失真、对比度低,图
无线频谱资源是全人类共享的不可再生的战略性资源。随着无线技术的快速发展,无线技术应用呈现爆炸式增长,频谱资源紧张的状况日益突出。另一方面,现有的固定频谱分配方式极大的
近年来,数字图像的数量已经急剧增加,因此将会在广泛的领域中需要和频繁地使用图像的内容。许多学科领域和行业包括电信、娱乐、医药和监控等,都需要高性能和高效率的图像检索系