面部表情作为人类情感体现的重要方式之一,是自然人机交互中研究的热门领域,广泛应用于视频会议、互动游戏、虚拟现实中。现阶段,面部表情的特征提取环节主要采用人为设计的特征,特征之间相互独立且没有关联,难以全面有效的揭示表情数据中隐藏的本质联系。不同于传统的基于面部外观或几何特征进行面部表情识别的方式,深度学习具有从数据中自主学习特征的能力,本文采用深度学习中深度卷积神经网络对表情识别进行研究并将其应用于虚拟环境自然交互系统之中。本文主要研究基于单路学习网络与基于并行学习网络的表情识别算法,通过设置感兴趣区域(ROI)对数据集数据进行了增强扩充,在全连接层后引入支持向量机(SVM)作为分类器。对不同预处理方式下的训练数据进行组合,通过最大置信的方式形成并行学习网络进一步提升了模型的识别性能。主要研究内容包括:1.基于单路深度网络的表情识别,在Caffe深度学习开源框架下完成对网络结构的搭建及实现并对网络各层进行了可视化展示,为了寻求具有更好识别性能的单路网络结构,分别设计如下三种对比实验:不同数据增强方式、不同分类器及不同预处理方式下的对比实验,采用一种将局部二值模式(LBP)+DCNN+SVM进行组合的深度学习表情识别方法,通过与传统的机器学习方法及其他深度学习模型方法相对比,验证了本文算法的鲁棒性和准确性。2.基于并行深度网络的表情识别,单通道识别网络虽然取得了不错的分类效果,但其学习到的特征较为单一,为进一步提升网络识别模型的性能,对不同输入特征组合下并行网络的性能做了进一步探究,采用将LBP与深度(Depth)两种输入特征相组合的并行网络识别方法,相比单路网络有助于提升识别模型的分类能力。3.对虚拟环境自然交互系统场景及人物建模进行了简要研究,通过几何、物理及行为建模方式,构建完成三维虚拟学习环境来模拟真实直观的学习场景。4.采用深度学习网络训练获得的最终表情识别模型,将表情识别技术与虚拟学习环境交互技术相结合,模拟课堂问答场景,完成基于表情识别的虚拟学习环境自然交互系统的设计,通过面部表情与虚拟环境中虚拟人进行交互,体现了自然人机交互思想。