人机交互领域是现在社会科学的研究热点,计算机技术的不断进步催生着越来越多的人机交互新业态。近年来,随着智能设备穿搭,手机面部解锁等研究的兴起,人脸表情识别成为人机交互的研究热点。本文主要研究提取人脸表情融合特征,改进两种表现优异的卷积神经网络,将机器学习与深度学习的优点结合。然后通过实验进行分析比较。本文的主要工作如下:1.对人脸面部表情数据库进行裁剪和尺度归一化。论文采用CK+、JAFFE和FER2013三个人脸面部表情数据库,运用Adaboost算法粗略裁剪人脸面部表情图像,对于裁剪过后的面部区域图像采用尺度归一化处理的方式,得到相同大小的人脸面部表情图像。最后,多维度分类表情特征提取方式与分类算法,对比各自优缺点。2.本文提出一种基于Dlib特征融合的表情识别方法。综合考虑学习规则、面部表情特征选取了两个用于对人脸面部表情进行特征提取的经典算法LBP(局部二值模式)和Gabor小波变换,在SVM与softmax中挑选最优分类器,将两种算法与两种分类器进行交叉实验。引入Python中用做人脸识别的Dlib库提取人脸68个特征点,并将LBP和Gabor小波变换提取的特征经均匀采样降维后与Dlib提取的68个特征点进行融合,放入最优分类器SVM中进行分类,最终得到经过实验确定的适用于人脸面部表情识别与分类的特征融合模型,在CK+数据库中,该模型最高正确识别率为96.0%,在JAFFE数据库中,最高分类正确率为94.3%。从正确率可以看出该模型对于人脸表情识别的优异性。3.提出一种基于改进卷积神经网络的投票模型。对进行面部表情实验表现优异的两种卷积神经网络算法VGG19与Resnet18进行改进,更改池化方式为金字塔池化,并将卷积核大小由3×3改为1×1,提高了模型正确率。将VGG19、Resnet18与LBP与Dlib的特征融合模型组成投票模型,验证了投票模型在人脸面部表情识别的准确性和有效性。其面对两个小数据库JAFFE和CK+时,取得的正确率分别是98.59%和99.64%,在面对大数据库FER2013时取得的正确率为74.58%,对比其他识别方法都有明显的优势。投票模型解决了对于不同大小的数据库的普适性问题,取得了非常优异的分类效果。