人脸表情识别作为人脸检测领域的一个重要组成部分,是人工智能领域的个新兴的研究课题,涉及到计算智能、模式识别、图像处理,甚至还包括生理学和心理学等学科领域,属于一种交叉性学科。表情识别的研究目标是让计算机能够自动识别出人的表情信息,从而能够更进一步地增强人机交互的友好性及智能性。同时,随着社会的生活水平不断提高,人们对于生活品质的安全要求也越来越高。针对现实生活中的很多场景,诸如驾驶监控、医疗监护等,若计算机能够自动识别人脸面部表情,则可大大降低悲惨事件发生的可能性并对人类的安全提供有效的保障。所以人脸表情识别研究具有极高的潜在应用价值和广阔的应用前景。目前对于正脸的人脸检测技术已经基本成熟,表情识别作为人脸检测技术的一个延伸却处于起步阶段,仍然没有一个比较成熟的算法。目前已经存在的多种表情特征提取算法,总体可以将其归纳成静态图像和图像序列的表情特征提取算法两种形式。而经典LBP(Local Binary Patterns)和LBP_TOP(Local Binary Patterns from Three Orthogonal Planes)算法分别作为该两种形式的常用算法,但是它们的实时性及识别率却没有达到令人满意的程度。本文以该两种常用算法为基础,对表情区域选取进行了改进,在不降低识别率的前提下,有效地提高了表情特征提取的速度。此外,针对图像几何特征提取,本文提出了基于链码的思想,该方法对静态图像和图像序列均可提取较鲁棒的几何特征。将两种几何特征分别与改进后的LBP和LBP TOP表情特征进行有效融合,大大提高了最终表情识别的识别率。实验数据证明了本文所提取的几何特征具有合理性和有效性。最终本文有效地结合了静态图像和图像序列的两种表情特征,构建出人脸表情识别的实时检测系统。具体研究内容及创新点如下：(1)对静态人脸图像或图像序列进行人脸检测、特征点定位和面部归一等图像预处理操作,得到本文规定的标准人脸图像或图像序列,为后期特征提取打下必备的基础。(2)基于链码思想,对静态图像的各面部目标上的关键特征点进行循环链码编码,并对其进行有效的顺序串接组合及归一,得到静态图像的几何特征。基于经典的LBP表情特征提取算法,并对表情区域选取方面做了部分改进,在不降低识别率的前提下,有效地降低了LBP表情特征的维数,得到改进的LBP表情特征。将静态图像的几何特征与改进的LBP表情特征进行有效融和,构成本文最终的静态图像表情特征。(3)针对图像序列,本文对各序列图像中的对应关键特征点的位置在同一坐标系下进行统计,以形成各关键特征点的运动轨迹,这些运动轨迹的组合可以描述某人脸表情的形成过程。对各运动轨迹进行非循环链码编码及有序组合归一,得到图像序列的几何特征。基于经典的LBP_TOP表情特征提取算法,对图像序列进行LBP_TOP表情特征提取。将图像序列的几何特征与经典LBP_TOP表情特征进行有效融和,构成本文最终的图像序列表情特征。(4)采用支持向量机多分类算法中的“一对一”分类算法及径向基核函数对表情特征进行表情模板训练及表情分类。(5)开发人脸表情识别实时检测系统,对测试者进行图像序列提取、人脸图像预处理、静态图像和图像序列表情特征双重提取,并对两种表情特征分别进行表情分类得到两种表情结果。遵守以图像序列表情特征为主,静态图像表情特征为辅的原则,对两种表情结果进行最大概率推断,得到最终最为可能的表情结果。