近年来,深度学习方法极大地提高了人脸识别的准确性,为了获得更高的识别准确率,集成学习可以应用于深度学习算法中。传统识别算法难以捕捉到面部表情所传递的有用信息,面部表情识别存在分辨率低、遮挡、光照、位置等问题,通常情况下,由于这些面部表情分类很差,人类无法识别它们。此外,面部表情的分类比较特殊,例如面部微笑并不总是意味着开心,面部表情往往取决于文化。然而,提高面部表情识别准确率可以应用到更灵敏、更智能的系统,从而改善用户体验。为了提高分类器的性能,降低人脸表情识别的错误率,研究者开展了很多的工作,例如基于深度学习方法。有时候深度学习对面部表情识别存在困难,原因有很多,比如基于深度学习人脸面部表情识别应用是一项复杂而困难的任务,又例如很难找到高质量的数据集,深度网络的性能在很大程度上依赖于大量的标记样本。本文提出了一种基于卷积神经网络和集成深度网络的新方法,可面向小样本数据集分类情况,这些方法分别是多视角卷积神经网络(MVCNN)和集成迁移学习网络(ETLN)。首先,将人脸图像通过不同尺度进行下采样,然后向上采样到统一图像大小,得到多视角训练样本。然后,构造了一个具有双通道特征提取结构的多视角卷积神经网络(MVCNN)。通过一个视角的训练样本对其中一个通道进行训练后,将参数迁移到另一个通道,使用不同视角的样本进行微调。在此基础上,我们利用基于迁移学习特征和深度模型集成方法对多视角卷积神经网络(MVCNN)的结果进行了增强。首先,设计的DCNN网络来识别人脸图像,DCNN权重随机初始化。再分别利用VGG16和VGG-face网络通过迁移学习方法构造人脸分类器Transferred VGG16和Transferred VGG-face模型,将上述的各个模型进行聚合,构建鲁棒性强的集成转移学习网络模型(ETLN)。ETLN的性能通过对集成模型的权重分析之后得到了明显的提高,其中特征的最优组合达到了最高的精度。这些方法已在FER2013和RAF-BASIC数据集上实验和测试,并与同类方法进行了比较,对识别结果进行了评价。实验结果表明,该方法可以提供更高的准确率,其中MVCNN分类器在FER2013的测试集上的准确率为72.27%,ETLN分类器在FER2013和RAF-BASIC上的准确率分别为74.12%、85.94%