情感识别作为情感计算领域中的重要分支,在人工智能、人机交互等许多方面都具有广阔的应用前景。不同模态的情感识别可以优势互补,不断提高识别系统的精度,以促进产生更高质量、更加和谐的人机交互系统,使人类生活变得更加智能便捷。本文主要研究基于面部情感特征、语音情感特征、姿态情感特征以及生理信号相关情感特征的情感识别系统,具体包括:提取不同模态的情感特征、对提取的不同模态的情感特征进行融合以及最后的分类识别。论文的主要工作如下:(1)对数据库中的样本提取不同模态的特征,包括:使用二维Gabor滤波器提取面部表情样本的Gabor特征;使用OPENSMILE对包含情感的语音样本提取其综合的语音情感特征(包括:振幅、基频、共振峰等);使用Harris角点检测姿态情感样本中的兴趣点进而提取其时空特征。(2)提出一种基于遗传算法的特征层融合方法,并将该方法与基于主成分分析的特征层融合方法、基于核典型相关分析的特征层融合方法、基于核矩阵融合的特征层融合方法进行比较,实验结果表明,论文提出的方法具有更好的融合效果。(3)将通过不同方法得到的融合特征输入支持向量机(SVM)进行分类识别,实现多模态情感识别,得到多模态的情感识别结果,将多模态的情感识别结果与单一模态的情感识别结果进行比较,实验结果表明,从识别结果的角度来看,使用适当融合方法的多模态情感识别结果要比单模态情感识别结果有明显提高。