近年来,随着人工智能的应用,人机交互的场景也越来越多。如果机器人能够理解人类的感情,就能够更加人性化的为人们服务,情感识别就是实现这个目标的关键技术。由于多模态情感识别能够利用模态间信息的关联性提高情感识别的准确率,越来越多的研究者将研究重点放到了这个领域,因此,进行多通道融合的情感识别模型研究并用于提高模型的识别率,具有重要的研究价值。本文以多模态融合的情感识别为研究对象,以提高情感识别准确率为研究目标,基于语音、人脸表情这两个模态进行研究,主要研究工作如下。本文提出来一种基于通道注意力和1*1卷积层的决策融合方法。通道注意力机制使用SE-block实现,SE-block的作用在于能够为多通道数据的每个通道赋予权重,然后对多个通道进行叠加融合,得到多模态融合的情感识别结果。通过对单模态情感识别和多模态融合情感识别的实验对比、分析证明在单模态的基础上引入别的模态可以大幅的提高情感识别的准确度,同时通过将实验结果与他人的研究成果进行比较也证明了本文提出的决策融合的方法的可行性和有效性。对于单模态的情感识别,由于从同一个视频中采样抽取了多个人脸图像,本文使用了Merge处理、Max处理、Mean处理三种方式对从这些人脸图像中抽取的特征进行进一步的处理,使其能够用于不同的分类器模型的输入。然后使用提取的情感特征训练三个不同的分类器模型。本文中使用多种特征和分类器的组合进行实验,目的是获得情感识别准确度最高的特征和分类器组合进行后续的多模态融合工作。本文还设计并实现了一个多模态融合的情感识别系统。将本文中提出决策融合方法应用于系统的情感识别计算模块中。此外,还对系统进行了功能测试,验证了系统的可用性。