论文部分内容阅读
近些年来,人脸表情识别作为情感计算的分支吸引了国内外研究者的目光。目前,传统表情识别工作主要关注于特征提取,然而部分手工提取的特征由于鲁棒性低、表征能力弱等缺点无法满足表情识别准确率的要求。本文致力于设计具有良好表征能力、鲁棒性强的局部特征描述算子以提高表情识别的准确率。值得一提的是,深度学习凭借其优异的学习能力和良好的识别效果已获得许多研究人员的青睐,因此,本文将手工提取的表情特征与深度学习进行结合用于人脸表情识别,主要工作如下:(1)综述了表情识别研究的背景、意义和现状,介绍了目前使用较为广泛的人脸表情数据集,分析了课题研究中的难点。详细描述了表情识别系统中的各个流程,主要包括表情图像的预处理、特征提取、分类识别,此外还系统介绍了深度学习中有关表情识别的理论知识。(2)针对局部纹理描述符忽略了相邻像素点在各个方向上的灰度值关联关系问题,本文基于局部二值模式(Local Binary Pattern,LBP)和中心对称局部二值模式(Center-Symmetric Local Binary Pattern,CS-LBP)特征描述算子,提出了中心对称局部八值模式(Center-Symmetric Local Octonary Pattern,CS-LOP),将传统的两位二进制编码扩充为三位,增大编码范围,刻画出更加细致的纹理特征;同时,为了提高表情识别的准确率,不仅提取原始表情图像的Gabor特征和梯度幅值特征,而且提取Gabor特征图和梯度幅值特征图的CS-LOP特征。将上述特征进行融合实现表情分类。在JAFFE和CK数据集上的实验结果验证了该方法的优越性。(3)由于手工特征对于表情识别的提升效果有限并且需要人为选取,鉴于深度学习的神经网络在表情识别技术上取得的优异成果,本文提出一种基于CS-LOP特征与卷积神经网络结合的表情识别方法。一方面,提取的手工特征CS-LOP关注到局部图像的显著性纹理特征,使得像素间的细微差异得以表达;另一方面,卷积神经网络可以自发提取输入图像的特征并实现分类,且多层神经网络的堆叠使得图像的深层特征更容易被学习。此外,本文引入多任务学习思想,将原始图像的表情识别作为主任务,以表情贡献度大的感兴趣区域作为辅助任务。通过卷积神经网络的联合训练和权值共享,辅助任务不断修正主任务的结果,之后多任务卷积神经网络与CS-LOP手工特征并行识别表情,二者再利用投票决策机制确定最终类别,实验结果表明了所提方法的合理性。