情感识别旨在通过赋予计算机识别、理解和适应人的情感的能力来建立和谐的人机环境。随着非侵入式传感技术、机器学习算法和计算机的计算能力等技术的飞速发展带动了认知科学的前进,情感识别作为认知科学的前沿领域得到了众多学者们的关注。与单一模态的情感识别相比,多模态情感识别能够提供更为全面且互补的情感信息,因而多模态情感识别在性能上往往优于单一模态。因此,本文提出了一种基于脑电信号和面部表情融合的多模态情感识别框架。本文的主要研究内容如下:(1)设计实现了基于可视化操作界面的情感标注模式,提升了情感标注的可靠性。情感标注显著影响情感识别系统的性能。针对此问题本文以SAM(SelfAssessment Manikin)系统为情感标注的标准,设计了一套可视化情感标注界面,标注人员利用摇杆操作对受试者的面部表情反应进行效价维的连续标注。实验结果表明,该模式在情感标注的一致性、实时性和可操作性方面具有优势。(2)研究基于t-分布随机近邻嵌入的脑电信号特征降维,提升了基于脑电信号的情感识别性能。脑电信号存在非线性和非平稳的特点,流形学习算法对于脑电信号特征的降维相比于传统线性降维算法在特征映射方面更具优势。因此本文将流形学习算法t-分布随机近邻嵌入(t-Distributed Stochastic Neighbor Embedding,tSNE)用于脑电信号的特征降维。实验结果表明,t-SNE算法能得到表征性更强的低维映射特征,与标注结果的平均一致性相关系数达到了0.534±0.028。(3)提出了基于面部关键点定位的特征提取方法,实现了基于面部表情的情感识别。SAM情感标注系统中的效价维是根据眉毛、眼睛和嘴部的变化来进行评估,针对此评估系统的特点,本文提出了基于面部关键点定位的特征提取方法用于情感识别。所选取的面部几何特征具有直观、可解释和情感相关性高等优势,与标注结果的平均一致性相关系数达到了0.568±0.031。(4)提出了基于长短时记忆网络的决策层融合,实现了基于脑电信号和面部表情融合的情感识别。情感在时间维度上存在固有的上下文关联,表征情感在时间维度的上下文关联有利于提升情感识别的性能。因此本文选取长短时记忆网络对两种模态的预测结果进行融合,并表征情感在时间维度的上下文关联。实验结果表明,所提出的决策层融合在情感识别性能上优于单一模态,与标注结果的平均一致性相关系数达到了0.625±0.029。