人脸表情识别是人脸识别的一个分支,是指通过计算机分析面部表情变化来准确的判断面部表情反应的真实情绪,在人机交互,驾驶员疲劳检测,谎言检测等方面有一定的研究价值。由于人脸不同表情的差异较小,计算机很难准确的区分出各种表情,因此是计算机视觉领域中极具挑战性的热点研究内容。人脸表情的研究可以分为表情图像和表情序列,这两者都可以被认为是类似于模式识别的分类问题,可以被分为表情特征提取和表情分类两部分。本文对表情图像和表情序列都进行了研究。无论是表情图像识别还是表情序列识别,都是离不开数据集的,而有些数据集中的各类表情数目并不均衡的,这往往会导致过拟合等问题。为了解决这种问题,本文使用了上采样的方式来使得各个类别的样本比例趋于平衡,其次为了克服数据集样本数量较少的问题,本文使用了在线数据增强的方式以提高模型的泛化能力。在表情图像方面,LBP算子是一种具有较高的特征鉴别力的特征提取算子,因此得到了广泛的应用。但是传统的LBP算子是针对整幅图像来进行分块特征提取的,由于人脸姿态的不同,分块后会导致不同图像的人脸关键区域并不在同一分块中。在数据集规模较小时,这种问题进一步加剧了样本难以覆盖特征空间导致的过拟合问题;为了减轻这种问题造成的影响,本文提出了人脸子区域加权特征融合模型。有研究指出,在发生情绪变化时,整个人脸中最能体现表情变化的是眼睛、嘴巴区域,其余区域的影响要小很多,因此本文将这两个区域单独截取出来建立统计直方图来进行特征提取;为了弥补其余区域缺失造成的影响,本文也将整幅人脸作为一个区域来提取模型作为修正;分别将子区域的特征提取出来后,本文使用网格搜索的方式来确定不同子区域的特征融合的权值,之后进行特征融合和使用分类器进行训练。为了进一步提高模型性能本文引入了卷积神经网络模型并结合子区域LBP模型进行模型融合。在表情序列方面,为了避免序列中帧的数量不一致造成的问题,本文采用帧平均和帧拓展的方式统一表情序列中的帧的数量。为了更好的学习到表情变化中的时空信息,本文引入了CNN-GRU网络和人脸运动轨迹网络,并通过联合微调的方法进行模型融合。CNN-GRU模型是为了学习时间外观特征而建立的,首先通过卷积神经网络对每一帧进行类别判定得到概率分布序列,然后使用GRU网络针对概率分布序列建立模型;人脸运动轨迹模型是使用归一化处理后的68个人脸关键点来建立的,目的是为了学习时间几何特征。通过不同数据集上的对比实验,证明了本文提出的融合网络模型的有效性,并且和近年提出的方法对比中也体现了本文算法在识别率上的进步。