进入21世纪以来,计算机的快速发展以及大数据的普遍应用,使得通过人机交互工作的方式成为人们工作生活重要的组成部分。其中,手势识别是人机交互方式中比较简单和自然的识别方式,也是计算机视觉领域的研究热点。传统的手势识别算法通过设计好的模型和具有代表性的手势特征来实现,但是,人为的设计模型和手势的特征选型需要研究人员具有丰富的专业知识与实践经验去实现,这样大大提高了研究门槛,而且人为设计模型和手势特征选型不一定适用于数量及种类繁多的数据。本论文主要是研究在神经网络环境中使用手势识别算法,分析了手势识别国内和国外的研究现状,对手势分割和特征提取的方法进行了具体阐述,研究了神经网络在手势识别中的应用,利用卷积神经网络和多模态神经网络的特点,对多模态神经网络算法进行了详细论述。首先提出基于光流的均匀随机采样方法,根据手部运动的剧烈程度实现动态采样,接着提出分层策略,捕捉序列内部更多的局部细节,然后采用多模态数据融合策略,融合多种数据类型的特色,避免单一类型对手势动作的描述偏差,最后利用事先训练好的模型提取卷积神经网络中间层的数据作为特征进行参与手势识别的运算。作者对提出的基于多模态神经网络手势识别的算法进行了仿真实验,搭建测试环境进行了用例测试,实验结果表明了该算法能够更好地识别各种手势,并且在各个场景中具有更好的适应性和准确性。