随着人机交互技术的不断发展,人们的生活得到了很大的便利,人们逐渐对人机交互提出了新的要求,人们希望计算机能够识别人的情感状态,并依据目前人的情感状态提供更人性化的服务。表情作为人类情感最直观的表现,隐藏着很多重要的信息,充分利用这些信息,可以进一步提高人们的生活水平,因而具有巨大的应用价值。人脸表情识别是希望计算机能够准确识别人的表情,是人机情感交互中的基础,因此,如何让计算机准确识别人脸表情成为了很多研究者关注的重点。卷积神经网络作为深度学习中一种重要的算法,在很多计算机视觉领域都取得了很好的效果,因此基于卷积神经网络的人脸表情识别逐渐吸引了研究者们的关注。本文围绕基于卷积神经网络的人脸表情识别中卷积神经网络对表情图像的细微变化不够敏感、卷积神经网络不具有旋转不变性、融合卷积神经网络学习到的低层次特征与高层次特征进行表情识别时参数量过多三个问题展开研究,提出了相应的解决办法,本文的主要贡献如下:(1)针对目前卷积神经网络对人脸表情的细节变化不够敏感的问题,提出了卷积神经网络融合ROI(Region of Interest)概率分布的人脸表情识别的方法。首先,将图像划分成一系列ROI图像;然后,将ROI图像输入到卷积神经网络中进行训练,使卷积神经网络学习到表情图像的全局信息以及局部信息;最后,在测试时融合测试图像的ROI图像在Softmax分类器输出的类别概率分布,对其归一化后作为测试图像的类别概率分布,选取类别概率分布中最大值对应的类别作为测试图像的类别。实验表明,本文方法提高了卷积神经网络对表情变化的感知能力,比传统的基于卷积神经网络的人脸表情识别的准确率得到了显著提高。(2)针对卷积神经网络不能从训练图像中学习到图像的空间位置信息的问题,将STN(Spatial Transformer Network)网络引入到表情识别任务中。将STN网络放置在卷积神经网络的第一层,使STN网络能够随着卷积神经网络的损失值调整自身仿射变换参数,从而使卷积神经网络具有旋转不变性。实验表明,STN网络的引入能够使卷积神经网络具有旋转不变性,能够有效地提升表情识别准确率。(3)针对融合卷积神经网络学习到的低层次特征与高层次特征进行表情识别时参数过多的问题,提出了面向表情识别任务的双通道卷积卷积神经网络。将池化层池化得到的特征图分为上下两路进行卷积,上路特征图采用1×1卷积核对低层次特征图进行跨通道的信息整合,以得到低层次特征值,下路特征图输入到下一卷积层中学习高层次特征,将高层次特征与各层的低层次特征相融合后输入分类器进行分类。在多个表情数据集的实验结果表明,所提方法在保证识别精度的前提下有效地减少了特征融合后卷积神经网络的参数量。