基于深度学习的人脸表情识别在安防、在线教育、医疗以及服务性机器人等领域均得到了广泛的应用。由于受光线、头部姿态、性别和年龄等因素的影响,在真实环境下的人脸表情识别仍然是一个很具有挑战性的研究课题。针对以上问题本文分别从两个方面对人脸表情识别进行研究。首先是对基于静态图片的人脸表情识别进行研究,其次是对基于视频序列的人脸表情识别进行研究。主要内容包括以下两个方面:对于静态图片的表情识别,在基于Visual Geometry Group Network16(VGGNet16)网络模型上进行了改进。首先在VGGNet16模型的侧方添加一系列的侧输出层,并在该侧输出层添加不同的卷积核。然后通过上采样和下采样方法连接侧输出层的上下两层,并通过训练使侧输出层能够对其上下两层的表情信息进行加权融合。在VGGNet16第五层的后方添加两种不同的卷积核。将侧输出层的最终融合特征定义为局部特征。将VGGNet16输出的最终特征定义为全局特征。最后将局部特征与全局特征进行融合得到最终要进行分类的特征。该模型在The Extended Cohn-Kanade(CK+)数据集上的识别率为98.6%,在Real-world Affective Faces(RAF-DB)数据集上的表情识别率为79.59%,通过对比常用的模型在两种数据集上的识别率发现该模型具有很大的优势。对于视频序列的人脸表情识别,本文在基于静态图片的表情识别的基础上研究视频序列的人脸表情识别。使用基于改进的VGGNet16模型对图像中的空间特征进行提取,同时使用光流法提取图像中的时间特征,并将提取出的空间特征与时间特征进行融合。最后使用注意力机制对融合后的特征进行加权,并对加权后的特征进行训练和分类。最终该模型在Acted Facial Expressions in the Wild(AFEW)数据集上的识别率为61.11%。