随着模式识别与人机交互技术的不断发展,人脸表情识别研究已经成为智能化人机交互领域的热点研究内容之一。目前,受控环境下的人脸表情识别研究已经取得了很大的进展,然而在自然环境下,表情图像通常存在许多不可控因素,使得现有表情识别算法性能表现不佳。为了提高表情识别系统的鲁棒性,本文主要从以下两个方面开展人脸表情识别研究:(1)对现有的受控环境下的公开表情库进行遮挡模拟,采用传统方法开展遮挡表情识别研究;(2)将上述传统方法与深度学习相结合,基于非受控环境下的自发表情库进一步开展表情识别研究,以提高算法的识别性能和鲁棒性。主要工作内容如下:(1)针对局部遮挡所带来的识别干扰问题,从特征描述的角度,对WLD特征提取算法进行改进,提出了非对称邻域韦伯局部描述子(AR-WLD)。与WLD相比,该特征能够更加充分地考虑邻域内每个像素点的贡献,且子邻域划分方式能够更好地提取局部信息,弱化噪声影响,增强对局部遮挡、噪声等的鲁棒性;分类判别时,首先对图像进行不重叠分块,分别提取每个子块的AR-WLD直方图,然后利用信息熵加权自适应调整每个子块的贡献度差异,并将加权求和后的相似度作为最终的判别依据。在JAFFE和CK库上的遮挡模拟实验结果证实了算法的有效性。(2)自然环境下,除遮挡外,通常还存在光照不均、姿态偏转、个体表达差异、图像质量不佳、人脸图像拉伸变形等不可控因素,传统的表情分类识别算法通常是针对某一具体问题而研究设计的,无法有效解决多种不可控因素并存的问题,因此本文提出一种将AR-WLD差分激励特征与卷积神经网络相结合的表情识别算法。一方面,AR-WLD的差分激励特征能够有效地提取图像中的局部显著模式,具有很强的纹理表征能力,且对光照变化、噪声等具有很好的鲁棒性;另一方面,卷积神经网络能够基于数据本身的分布特性有效地学习到图像的高层抽象特征;本文将原始图像的AR-WLD特征图谱作为卷积神经网络的输入,引导卷积神经网络关注图像的局部显著特征,避免了噪声和光照变化的影响。在RAF数据集上的实验结果表明了该算法的有效性。