通过手势识别可以控制目标对象,基于手势识别的人机交互在游戏娱乐以及智能家居等领域的应用已逐渐融入我们的生活;另一方面,由于我国是一个残疾人口大国,手势识别对语言功能障碍患者更和谐地融入社会具有重大意义。手势识别的便捷性和准确率是研究者的目标。基于目前在手势识别领域中的已有研究成果,本文以中国手语中多个手势动态过程为研究对象,利用四路前臂表面肌电信号(Surface Electromyography,s EMG)与三轴加速度信号(Acceleration,ACC)对手势动作的分类进行了深入的研究。主要工作与创新点如下:(1)信号采集:根据手势规范动作执行形式,进行动态过程分析,用固定于手腕背部的三轴加速度传感器采集反映手臂挥动信息的ACC信号,同时从生理学的角度入手,选择了与指、腕动作密切相关的拇短伸肌、指伸肌、桡侧腕伸肌与指浅屈肌四块前臂肌肉作为4路s EMG信号采集点,共采集5路信号用于手势识别分析,并对ACC与s EMG具体采集过程设计了实验方案。(2)信号预处理:对去偏置后的s EMG使用db6母小波对信号进行4层小波分解(Wavelet Transform,WT),提出一种改进的小波阈值消噪法进行去噪;对ACC信号使用中值滤波法进行平滑处理。对各通道信号进行归一化处理后,采用基于阈值的方法进行手势活动段提取。(3)基于特征划分的区段分割方法:研究动态手势执行过程的基础上,提出一种动态手势过程的区段分割方法,以s EMG和ACC有效信号的起止点为节点,将复杂动态手势分解为起始段、主特征段和收尾段三个相对独立的区段。起始段为手臂开始挥动,仅包含ACC为活动状态,s EMG是静息,反映ACC在手势起始过程的宏观信息。主特征段为s EMG与ACC皆活跃的信息段,该区段反映了手势执行过程中的细节与宏观信息,在ACC的相对变化中伴随指和腕变化相关的s EMG丰富信息,该区段中两者的信息融合对手势的识别起到决定性作用。收尾段表示s EMG由活动状态回归静息的过程,反映s EMG在手势终止时的细节信息。(4)特征提取:根据ACC和s EMG的特点,针对性提取三个分段的全局和细节特征,将动态手势的宏观信息和微观细节特征有机组合,提取了时域特征、频域特征、时频特征、熵特征以及融合域特征,构造FACC、Fs EMG以及FA+S特征组合,使用PCA对高维特征向量降维。(5)手势分类:使用多种分类方法对区段分割思想及其对应的特征提取方法开展手势分类识别结果的对比分析。比较了K近邻(KNN)、人工神经网络(ANN)以及支持向量机(SVM)分类器对动态手势的识别结果。本文所提s EMG+ACC的组合特征向量均取得了高于90%的识别准确率,验证了本研究方法对动态手势识别的有效性。(6)研究实践:开发了手语在线翻译APP,有效地识别了7种日常手语,并在手机端进行文字显示和语音播报,使聋哑人与正常人沟通上更加流畅。