在人脸识别(Face Recognition,FR)研究领域,人脸特征提取作为一种重要的生物技术,成为实现智能人机交互的前提和关键技术之一。人脸表情特征提取和分类作为一个十分活跃的研究方向,具有很好的应用前景。随着人脸识别技术的进步,人脸表情识别技术取得了进步,但仍有很多关键性的问题需要进一步研究,比如光照、姿态、表情变化等。因此,从构建应用系统的角度看来,对人脸表情分类的研究仍处于起步阶段,相应的理论和方法仍有待完善。从情感理解的角度来看,笑脸表情有着明显的特殊性,比较直接地反映了对象的心理状态,同时笑脸表情分类在电子类消费品当中目前已经成为了独立的一个应用领域。本文以笑脸表情分类方法为主题,研究了用于笑脸表情分类和识别的关键算法。典型的表情系统应该包括人脸检测、人脸特征提取、特征选择以及表情分类。由于特征提取对识别结果起着关键作用,本文将重点放在特征提取关键算法的研究上。作为一种小波变换方法,Gabor特征提取方法在人脸表情识别中得到成功应用。但Gabor特征的缺点是计算复杂度较高,同时Gabor特征用于分类识别的性能仍有提升的空间。我们将近年来在图像分类中应用广泛的PHOG(Pyramid Histogram of Oriented Gradients,PHOG)特征、生物启发特征(Biologically Inspired Model,BIM)特征以及局部二值模式(Locally Binary Patterns,LBP)特征引入笑脸表情识别中。本文还针对笑脸表情分类,融合、降维等问题进行了深入研究,研究内容与主要贡献如下:1、本文对比了AdaBoost和支持向量机(Support Vector Machine,SVM)分类器进行人脸表情识别的性能,研究表明,AdaBoost的识别速度比SVM快,而准确度略低;SVM光照鲁棒性则比AdaBoost强,在光照变化较大的环境下,宜采用SVM;对于同时需要兼顾准确度和速度的场合,宜采用AdaBoost进行特征选择,再用SVM进行分类识别。实验结果表明,上述办法是有效的。2、本文分析了基于Gabor小波变换的笑脸表情特征提取方法。对于传统降维方法而言,Gabor特征维数过高。本文提出了对嘴部表情区域进行金字塔分割,在此基础上进行金字塔梯度方向直方图(Pyramid Histogram of Oriented Gradients,PHOG)特征提取。我们假设HOG频谱分布与表情变化剧烈程度呈现正相关,峰值附近像素渲染较大的表情变化,因而对表情分类识别的贡献也较大。根据金字塔分割各区域所提取的梯度方向直方图(Histograms of Oriented Gradients,HOG),在提取Gabor特征的时候,相应地采用间隔采样技术。最终提取到更加有利于笑脸分类的Gabor特征。3、本文分析了基于生物启发模型(Biologically Inspired Model,BIM)的表情特征提取方法,同时将PHOG特征与BIM特征进行了对比研究。对这两种特征融合后在GENKI数据库上进行笑脸分类的测试和评价,结果表明特征融合能显著提高笑脸分类识别性能。本文研究了BIM特征应用于笑脸分类的实施步骤,结果显示与应用在人脸识别上的已有成果相比具有类似的性能。结合对流形学习理论的研究,本文运用了一种线性流形学习方法,即局部保持投影(Local Preserving Projection,LPP)对BIM特征进行降维,保持了该特征的分类能力,同时提高了识别效率。较好地解决了表情特征提取与降维的问题。4、提出了一个现实世界环境中的笑脸分类系统。三种类型的基本特征(即Gabor,PLBP和PHOG)分别提取出来并融合以后,馈入组合分类器(即AdaBoost+SVM)进一步分类识别。这种方法是在GENKI数据库上进行测试的,取得了高达86.197%的识别率。然而,以往文献研究显示基本特征加单一分类器的方法并没有取得十分理想的分类结果,部分原因在于这三种特征面临着维数过高的问题。与基本特征加上组合分类器方法的比较研究表明特征融合对性能的改进是显著的。通过对分类器识别性能的对比研究,尤其是针对以上两种主要表情特征的对比研究,我们获得了笑脸表情图像分类识别的有效的技术路线和实验方法,在包括GENKI数据的在内的典型表情数据库中的实验结果表明,本文两种基本特征提取方法(即PHOG和BIM)在笑脸表情分类中具有良好的性能。得出的结论是:笑脸表情特征提取的性能主要受到数据采集的光照条件、人脸姿态等各种因素的影响,而为了获得较为鲁棒的系统,有必要将第三种类型的基本特征(即PLBP)提取出来并与上述两种基本方法进行特征级别融合,用于分类识别,才能获得较好的分类识别结果。