论文部分内容阅读
手语识别是通过计算机技术识别翻译出手语动作的过程,是人机交互领域的一项重要研究分支。聋哑人与正常人间所存在的沟通交流障碍的现状以及对人机交互方式的自然性和便捷性的越来越高的要求,研究手语识别技术并将它应用到现实中显得日益重要。聋哑人交流中使用的连续手语句子由孤立手语词组成,研究孤立词手语识别是构建连续语句手语识别系统的基础和前提,具有重要的研究价值。体感设备Kinect能够输出彩色图像和深度图像并捕获人体各关节运动,相比传统的手语数据采集装置更具优势。本文在以Kinect为输入的基础上对孤立词手语识别进行了研究,并实现孤立词手语识别系统。本文的主要研究内容包括:1.区分性手语特征量提取。通过分析Kinect原始骨骼跟踪信息和彩色图像信息,设计出包含轨迹特征和手形特征的手语特征量,轨迹特征为原始轨迹点经过速度、尺度和位置归一化得到,手形特征包括灰度、SURF (Speed-Up Robust Features)和HOG (Histogram Of Gradients)特征。2.本文引入区分性字典学习和稀疏表示的识别算法并将其应用在孤立词手语识别中,在此基础上提出一种基于联合字典的改进的分类算法,该分类算法能充分利用已训练出联合字典中的区分性信息,提高分类正确率。3.孤立词手语识别系统。本文设计实现了一个实时有效的孤立词手语识别系统,该识别系统在论文所采集的72个孤立手语词数据集上平均识别准确率为98.61%。文章设计了一系列实验用于验证手语特征量和所提算法的有效性,结果表明当使用轨迹结合HOG作为手语特征时能获得最佳的分类结果,并且改进的分类算法在分类准确率上要优于原始分类算法,与DTW (Dynamic Time Warping)和HMM (Hidden Markov Models)算法的对比结果表明本系统是适用于孤立词手语识别的。