面部情感识别旨在判断表情所传达的情感倾向,智能感知个体情绪状态,具有重要的研究价值,已成为计算机视觉领域中的研究热点。为此,针对现有面部情感识别模型的不足,本文从图像和视频两个方面出发,对静态和动态的表情识别进行深入研究。1.针对面向图像的静态表情识别,考虑到卷积神经网络对情感相关的局部区域关注不够以及经典损失函数无法处理表情的类内差异,研究了一种基于多层空间注意力的轻量级密集连接卷积神经网络(Hierarchical Attention based Lightweight Densely-connected Convolutional Neural Network,HA-LDCNN)。首先采用密集连接卷积模块提取图像特征,以获取多尺度的丰富信息流,同时控制模型参数量;然后根据密集块输出特征特点构建参数量微小的空间注意力单元,用于关注情感显著性信息。在此基础上,引入类内距离惩罚项,将其与分类损失相结合监督参数训练,以减小因样本身份特性差异造成的影响。在两个公开数据集CK+和RAF-DB上对所提出模型进行验证,实验结果表明了模型的鲁棒性和高效性。2.针对面向视频的动态表情识别,考虑到现有多模方法参数量大且忽略不同模态间联系的不足,研究了一种基于分解卷积神经网络的双模态融合模型(Decomposed CNNs based Dual-modality Fusion Model,DCNNs-DFM),高效建模表情的动态变化。该模型主要由外观模块、光流模块和双模态融合模块三部分构成,其中外观模块以RGB图像序列为输入,设计复杂度低的三维分解卷积神经网络捕获面部外观时空特性;光流模块通过二维分解卷积神经网络建模顶点光流图像中包含的运动状态;双模态融合模块根据模态一致性原则,在特征层面融合来自不同网络的互补信息,进一步提高模型识别能力。实验结果显示,所提出模型在两个公开数据集CK+和MMI上获得较高的分类精度,证明模型可以有效识别动态表情。