论文部分内容阅读
表情是人与人进行信息沟通交流的重要手段。与其它图像视觉领域不同,人脸表情的识别过程中,存在着表情特征十分细微以及表情持续时间较短等问题,这些难点使得人脸表情识别在实际生活中的应用受到限制。基于深度学习对人脸表情识别的现有研究多采用对网络模型进行探索和优选的方式,缺少对模型的理论研究。本论文基于光照标准化和卷积神经网络特征提取可视化方法,提出了一种多尺度融合的卷积神经网络模型,并设计实验对模型的优越性进行了论证。论文的主要工作如下:(1)探究了处理人脸表情识别中光照噪声的光照标准化算法。基于光照标准化算法的基本原理,研究了伽马校正、高斯-拉普拉斯边缘提取和TT等在人脸识别领域中表现较好的光照标准化算法。利用Alex Net卷积神经网络分类器,分别训练和测试了使用这些算法处理后的FER2013数据集,并根据实验结果,优选了一种合适的算法作为处理FER2013数据集的光照标准化算法。(2)研究了不同深度下卷积神经网络层对于表情特征提取的性能。基于可视化卷积神经网络方法,利用Grad-CAM技术,对传统VGGNet16网络中不同深度下卷积神经网络层所提取的特征分别绘制了分类权重热力图,并分析了各深度卷积神经网络层权重热力图的深层含义,得出了VGGNet16中对于人脸表情识别精度提升作用较大的网络层次信息。(3)基于模型特征提取性能研究,提出了一种改进的多尺度融合VGGNet16卷积神经网络。使用模型特征提取性能研究的结果作为理论指导,结合Inception结构、批量标准化和Dropout技术,构建了在宽度和深度上均有不同尺度特征融合的多尺度融合VGGNet16卷积神经网络,并在FER2013数据集上论证了所提出模型的优越性。(4)设计和实现了一套人脸表情识别系统。基于提出的多尺度融合VGGNet16卷积神经网络,设计了一套人脸表情识别系统,对静态人脸图像和动态人物视频进行了人脸表情识别实验,并通过实验论证了论文提出的模型在实际场景中较好的应用价值。