近年来,人脸表情识别在社交网络和人机交互领域越来越引起学术界的重视和关注,并且已经取得了一系列的成果。现有数据库中人脸大多角度端正、分辨率高并且环境光照良好,并且现有的算法均基于以上数据库设计。而真实世界中的人脸更具有多变性,因此现有的算法很难满足于实际需求。为测试现有算法的性能,本文探索了一些影响真实生活场景中笑脸检测的因素,包括光照预处理方法、对齐、图像尺寸、特征以及SVM分类器核的选取。根据数据本文验证了现有光照处理方法的局限性,对齐作用的实用性以分类器的核的性能等。同时为了验证多表情分类问题,本文通过互联网搜集并建立了一个有将近3万张人脸图像的数据库,Real-world Affective Face Database(RAF-DB),其中每一张人脸图像的标签都是被大概40位志愿者进行独立标注。为了测试本文建立的RAF-DB数据库的性能,引入了CK数据库进行对比,通过交叉训练,实验结果表明经过RAF-DB训练在CK数据库测试的数据结果的识别率基本上都高十在CK数据库训练在RAF-DB数据库测试的结果。搜集的数据库表明人脸表情识别任务是一个典型的非均匀多标签的分类问题,为了解决上述问题,本文在训练时,通过上采样问题进行了数据重构,同时也探究了多标签的影响,试验结果表明,这对识别率的提高非常明显。在特征选取方面,除了利用比较成熟的人脸表情特征(HOG,Gabor,LBP)作对比外,还引入了深度学习的特征。对于不同数据库以及分类任务,不同的SVM核的性能差异也非常明显,因此本文分类器的训练采用了多核SVM分类器,包括线性核、高斯核以及局部线性核(OCC)。试验结果表明,多核SVM在表情分类问题上具有更强的稳定性和更高的准确率。