人脸表情可以传达非常丰富的情感信息,随着计算机技术在人们日常生活的普及,人脸表情识别在人机交互、家庭娱乐、公共安全甚至医疗等领域的应用前景更加广泛。近几十年来,深度学习领域的迅猛发展为各个领域带来了发展和突破的新机遇,不同于传统手工提取特征的方法,研究人员可以通过机器学习的方法,获得自动学习并且泛化能力强的特征。所以本文针对人脸表情识别的特殊性,将深度学习应用于人脸表情识别。本文选取了深度学习中的深度卷积神经网络结构进行特征学习,为了解决人脸表情变化细微、不同表情间易混淆等难点,设计了以下五种网络结构:⑴为了增加表情图片中包含的信息,将图像从黑白映射成伪彩色,并设计一种基于伪彩图的卷积神经网络(Peak Convolutional Neural Network,PCNN),此网络结构是一种基于静态图像的外观特征的结构;⑵为了获取表情变化的动态信息,设计一种图像序列的3D外观的卷积神经网络(3D Appearance Neural Network,3DANN),此网络属于一种基于图像序列的外观特征的结构;⑶为了获取人脸面部五官几何约束关系,利用人脸关键点,设计一种基于3D几何的卷积神经网络(3D Geometry Neural Network,3DGNN),此网络属于一种基于图像序列的几何特征的结构;⑷为了综合3DANN和3DGNN的优势,将这两个网络并行,设计一种并行3D外观和几何的卷积神经网络(3D Appearance-Geometry Neural Network,3DAGN),此网络属于一种基于图像序列的外观和几何特征的结构;⑸为了增加表情峰值图像信息,在3DAGN并行网络基础增加PCNN网络,设计一种联合帧内帧间信息的卷积神经网络(Deep Peak-Appearance-Geometry Neural Network,DPAGN),此网络属于一种基于静态图像和图像序列的外观和几何特征的结构。本文的实验结果表明,本文提出的伪彩色增强和基于图像序列的3D卷积方法确实有利于解决表情识别问题,并且本文所提出的五种基于深度卷积神经网络的结构,在两个公开的人脸表情识别数据库都达到了较高的正确分类率。