手语让听力言语障碍人士之间得以顺畅交流,却仍难以解决听力言语障碍人士和其他人群之间的沟通问题。因此,将手语转化为语音文字的手语翻译技术就能够帮助听力言语障碍人士更好融入社会,更轻松地实现自身价值。手势识别作为手语翻译核心技术,是本文的主要研究内容,本文首先介绍了手势识别的基本原理、如何提取手势特征以及在文中应用到的手势识别算法,即隐马尔科夫模型、BP神经网络以及卷积神经网络。其次,利用加拿大Thalmic Labs实验室推出的创新型MYO臂环实现了集表面肌电信号、加速度信号以及陀螺仪信号的采集。MYO臂环可以将采集到的这三类信号通过低功率的蓝牙传出,不仅佩戴方便,在使用过程中的移动性更好,也更适合与手语识别这样需要长时间佩戴的场景。介绍了表面肌电信号产生原理以及加速度信号传感器与陀螺仪传感器以及使用MYO臂环采集数据的程序流程。而后,针对二维卷积神经网络中二维的卷积核和特征图不适合表面肌电信号的识别的问题,我们选择更适合的一维卷积神经网络。采用经实验表明,给出的一维卷积神经网络拥有较高的判别的准确率,能有效识别静态手语孤立词。最后,针对表面肌电信号进行识别不能很好地表征手势运动特征的问题,引入了加速度流以及陀螺仪流,并给出了适应数据情况的三分支结构,即多流卷积神经网络。经实验表明,给出的多流卷积神经网络拥有较高的数据流判别的准确率,与之对比普通的一维卷积神经网络对于多流数据会出现的过拟合情况,这与输入数据有强噪声而产生的过拟合情况类似。本文选用高集成度的MYO臂环,以表面肌电信号作为手型识别主要信号,以加速度信号以及陀螺仪信号来表征手臂运动轨迹以及翻转等运动特征,并给出适应于数据的多流卷积神经网络进行分类识别。这种识别方法主要有两个特点:其一,选用的卷积神经网络可以直接利用原始的数据,并自动提取特征,不依靠人工设计的方法来提取特征,这不仅规避了复杂且计算量很大的信号预处理部分,更是解决了特征选择具有的局限性的问题。其二,针对动态手语孤立词多要素的特点,我们给出了适应情况的肌电流、加速度流以及陀螺仪流的三分支多流卷积神经网络结构。相较于传统的卷积神经网络无法去除数据间差异特征并会因此出现过拟合以至于无法得到良好识别效果的情况,多流卷积神经网络在处理多类别数据表征的信号时显示出了良好的性能,不会将数据间的差异作为特征,可以有效提取每种数据的特征,能有效识别动态手语孤立词。