情感作为人类生活体验的一个重要基础,影响着人类的认知、感知和日常生活。因此,情感识别作为人机交互中的一个重要的研究领域,近年来越来越受关注和研究。情感可以通过多种方式表达,多模态情感识别已经成为情感识别领域的发展重心。本文以语音和人脸表情等模态为基础,分别研究了语音情感识别和人脸表情识别这两个单一模态的情感识别,并在此基础上采用特征融合和决策融合的方法来实现多模态情感识别。具体的工作如下:（1）首先研究了语音情感特征,包括韵律特征、谱相关特征和音质特征。研究并分析了以高级描述因子类型的语音特征为输入的SVM、RF、KNN和DNN的算法模型以及以低级描述因子类型的语音特征为输入的三种LSTM框架的模型。此外还提出了一种以基于门控残差机制的时域卷积和基于注意力机制的LSTM模型相结合的算法来实现语音情感识别的任务。最后通过实验比较分析了多种语音情感识别算法在CASIA、e NTERFACE’05和IEMOCAP数据集上的性能表现,发现了数据归一化对机器学习算法的识别重要性、基于注意力机制的LSTM模型在三种LSTM框架中具有一定的性能优势。同时实验结果显示所提出的结合时域卷积和基于注意力机制的LSTM模型的方法能在e NTERFACE’05数据集上进一步提升语音情感识别的性能。（2）在CK+和FER+人脸表情数据库基础上,研究了基于VGGNet和Mobile Net的卷积神经网络模型的静态人脸表情识别方法,验证了Mobile Net结构的模型能够在减小模型参数数量的同时,保证有效的识别精度,在人脸表情识别任务上具有一定的优势。并在此基础上研究了基于的卷积神经网络与基于注意力机制的长短时记忆神经网络结合的视频序列表情识别方法,并在e NTERFACE’05多模态情感数据集上实验验证了算法的性能。（3）研究了采用语音情感识别模型和人脸表情识别模型或文本情感识别模型提取的高维情感特征的特征融合方法以及基于平均值规则、加权求和规则和乘积规则的决策融合方法,并提出了一种基于关键帧提取和Net VLAD的帧级特征融合方法。研究并分析了特征融合和决策融合两种多模态融合方法在e NTERFACE’05和IEMOCAP多模态情感数据集上的平均识别率和混淆矩阵,并分析比较了单一模态和多模态情方法在数据集上的混淆矩阵。实验结果显示采用高维情感特征的特征融合方法相对决策融合方法具有一定的优势,验证了多模态情感识别方法相对单一模态的情感识别方法具有显著的优势。同时,验证了所提出的利用语音提取情感关键帧并进行帧级特征融合的方法的有效性,该方法在e NTERFACE’05数据集上达到了最高的91.53%的平均识别率。