论文部分内容阅读
人脸表情包含着丰富的情感信息,是人类情感表达的重要表现形式。随着图像处理和机器视觉技术的快速发展,面向情感计算、心理分析等视觉研究的热度与日俱增。表情识别在在线教育、智能商业、公共安全等领域都有着广泛的应用前景。虽然当前在实验室约束环境下的人脸表情识别技术已经相对成熟,但实际应用中,人脸表情会受到光线、遮挡等因素影响,同时人们对自然场景下表情识别精度的需求不断增长,因而非约束环境下的表情识别正在成为机器视觉领域的研究热点。目前,对于非约束环境下人脸表情识别的研究内容主要是针对姿态、遮挡、光照三类要素分别进行研究,尚未有统一的表情识别模型能够同时解决上述多个问题。对此,本文基于深度学习方法提出两种非约束环境下人脸表情识别的通用模型,通过增强模型的表征学习能力和泛化能力,解决了因姿态、遮挡、光照造成的识别精度低的问题。本文的具体研究工作和创新点如下:(1)提出一种基于特征融合的注意力双线性池化模型(Feature Fusion Attention Bilinear Pooling Model,FFABP)。本文将注意力机制引入双线性池化模型,提出一种注意力增强的双线性池化模型。一方面,利用双线性池化操作计算特征空间的二阶统计量来捕获表情之间细微局部差别,另一方面,借助注意力机制突出高维特征空间中重要的空间位置,从而增强模型的表征学习能力;同时使用自注意力模型来学习不同区域特征之间的依赖关系,获得一阶全局几何特征。将一阶全局几何特征与二阶局部特征进行融合,进一步增强模型的表征学习能力。(2)提出一种自适应级联Count Sketch模型(Adaptive Cascade Count Sketch Model,ACCS)。本文对Count Sketch算法进行改进,提出一种Multi-order Count Sketch算法,并利用其构建级联Count Sketch模型以捕获更多个高阶特征,将各阶特征进行有效逐级融合;为了适应不同数据集的差异,提高模型的泛化能力,本文设计自适应注意力模型自动跟踪各阶特征的权重并自适应的保留重要的高阶特征;与此同时,本文还设计增加了过滤模块,该模块根据自适应注意力模型保留的重要特征索引,在测试阶段控制级联Count Sketch模型计算相对应的高阶特征,有效减少模型所需的计算量。