情绪是人类基本心理活动的表现,情绪表达是交流中重要的理解依据。在人工智能的大背景下,机器人、智能家居、智慧医疗等人工智能产品均得到飞跃发展,机器与人的交流也更加密切,使得人机交互技术具有非常重要的研究价值。人机交互系统在面对恶劣环境和处理复杂工作方面优于人类,同时也要与人类协同作业,此时拥有情感交互能力可以更好地提升人机交互性能。近年来情绪识别已然成为人工智能领域重要的研究方向。通常使用面部、脑电、语音语调、文字或肢体动作研究情绪变化,但是仅从单一模态研究情绪识别时,一种模态无法获取足够多的特征,引入多模态特征并进行融合可以提取不同模态的互补信息,从而提高情绪识别准确率。基于多模态融合的情绪识别已经成为情绪识别领域的重要研究方向。本文使用面部和脑电两个模态对情绪进行识别,分别设计单一模态的识别算法和多模态融合情绪识别算法,并设计一款便携式情绪识别系统,实现开心、悲伤、惊讶、中立四分类情绪识别。针对面部模态使用Open CV对面部图像进行人脸定位、面部图像截取、直方图均衡化、尺寸统一等预处理,在Keras平台构建三款卷积神经网络,包括VGG16、Dense Net121和本文设计的My model。使用Fer2013表情数据集进行训练和测试模型,比较三种模型识别准确率和识别效率,实现基于面部表情的四种情绪识别算法。针对脑电信号模态通过对DEAP情感脑电数据集进行预处理,提取数据集中FP1通道的脑电信号,对单通道脑电信号进行快速傅里叶变换,根据频率将脑电信号分为五个频段,再将脑电频域信号反变换为时域信号,使用标准差对脑电时域信号进行特征提取,最后使用K近邻算法实现基于脑电模态的四种情绪识别算法。在面部和脑电模态情绪识别算法的基础上,设计一款基于加权平均的决策融合算法,并应用于情绪识别系统。情绪识别系统由基于树莓派平台开发的中央控制模块、基于TGAM芯片和蓝牙开发的脑电采集模块、使用高清摄像头和高清触控屏开发的面部图像采集模块组成。本文对情绪识别系统进行调试及运行,实现系统数据采集,信号处理,图像处理、信号传输、情绪识别等功能。通过实验验证系统可靠性,算法可行性,并对比验证单一模态和多模态融合的实验结果比较及分析。