面部表情识别一直以来是一个有趣且富有挑战性的问题,在实际应用中容易受到各种因素的影响,诸如光照、姿势、面部遮挡、年龄、种族等因素。据研究表明,传统手工提取的特征无法解决与面部表情无关的各种因素,为了解决这一问题本文采用卷积神经网络(Convolutional Neural Network,CNN),可以输入原始数据,将特征提取和分类结合,其模型拥有数千万参数可以处理大量的训练样本,是一个强大的自动特征提取器。目前最先进的算法表明,使用CNN集成可以胜过单个CNN分类器。因此,本文针对以上问题对优化卷积神经网络结构、学习基本分类器的最佳组合规则来提高表情识别精度开展研究。主要工作及创新点如下:1、受VGG网络整洁结构以及Xception结构的启发,设计了3个不同结构化子卷积神经网络,以保证网络的互补性,紧凑而有效的网络设计使其足以完成任务并易于训练。通过引入全局平均池化层代替全连接层减少模型参数量,同时保证了模型识别率,引入包含4个残差深度可分离卷积模块可以在加深网络的同时进一步减少网络参数。此外在网络中加入批量归一化和L2范式以解决过拟合问题、提高网络泛化能力。在CK+数据集和FER-2013数据集上进行实验,每个子CNN都能较好的完成表情识别任务。2、通过实验证明使用集成方法通常比任何单个分类器都能表现得更好,从而提出了一种基于集成卷积神经网络的表情识别方法,并找到了最有效的集成规则。在组合基础学习器中,加权平均优于多数投票和简单平均方法,Stacking通常比Bagging、SAMME和Snapshot集成有更好的性能,这是因为Stacking中的元模型训练比基础学习器的训练更有效率,所以Stacking在性能和效率之间实现了良好的平衡。3、受到集成思想的启发,通过增加眼睛以及嘴巴区域表情识别结果的决策,建立了实时面部表情识别系统。首先分别用眼睛数据集和嘴巴数据集通过上述三个子网络训练出最佳模型,在面部表情实时识别过程中调用三个模型并采用多数投票法提升了系统的性能。此外,使用PyQt5构建了识别系统的可视化界面。