论文部分内容阅读
面部表情识别作为情感计算领域的重要研究方向之一,在机器人交互、医疗诊断、安全驾驶等人机交互系统中被广泛应用。目前的面部表情识别因场景不同而差异较大,实验室场景中的表情大多是正面的、清晰的、带有表演性的图像,其相关算法较为成熟,识别准确率较高。而自然场景中的表情由于更接近工程实际应用,其表情具有数据不均衡、遮挡及多姿态等特点,这些特点使得面部表情识别的应用依然存在挑战。而目前针对表情数据不均衡问题开展的研究又较少,其相关表情识别算法在遮挡及多姿态的数据集上识别准确率也较低。因此,本文主要针对自然场景中表情识别的数据不均衡、遮挡及多姿态问题开展研究,主要工作如下:(1)针对自然场景中表情识别存在的数据不均衡问题,提出了一种基于生成对抗网络和主动学习的数据增强方法。该方法通过Star GAN来生成表情样本,针对生成样本存在的噪声问题,使用主动学习来筛选信息量较大的样本,对数量较少的表情类别进行数据增强,同时将通道注意力模块与残差网络结合作为表情识别基分类器。本文所提出的数据增强方法在RAF-DB数据集上进行实验验证,结果表明其识别准确率达到85.16%,相比其它数据不均衡的解决方法有着更好的效果。(2)针对自然场景中表情识别存在的遮挡及多姿态问题,提出了一种基于弱监督学习的局部特征增强的表情识别模型。该模型使用弱监督学习得到注意力特征图,通过注意力特征图增强局部特征;由于二阶特征能够捕捉面部的扭曲程度,在双线性注意力模块添加协方差池化,提取面部二阶统计量特征;并采用度量损失Arc Face Loss作为模型的目标损失函数,解决面部表情存在的类间差异小、类内差异性大的问题,提升了模型学习可判别性特征的能力。通过实验验证,表明本文所提出的表情识别模型在RAF-DB、Affect Net和FED-RO上分别达到87.04%、61.05%和67.39%的识别准确率,均优于对比文献的实验结果。并通过跨数据集实验,验证了模型具有较好的泛化性能。综上所述,本文所提出的数据增强方法能够有效地解决自然场景中表情识别的数据不均衡问题,从而提升了表情识别准确率;本文所提出的基于弱监督学习的局部特征增强的表情识别模型能够在各种场景的表情数据集上取得较好的识别结果。