人机交互（Human Computer Interaction,HCI）是人工智能领域研究的热点方向,情绪识别是其中的重要研究内容。情绪识别是通过获取个体的生理或非生理信号对个体的情绪状态进行自动辨别,以实现更加友好和自然的人机交互。随着机器人产业和移动互联技术的高速发展,基于移动端设备的情绪识别研究不断深入,其中主要分为两个方向,一是在保证识别准确率的情况下对识别模型进行轻量化;二是基于信息融合的情绪识别。目前多数识别效果好的模型面临着参数量大、计算成本高的问题,不适用于移动智能终端等实际场景中;单一信息源的情绪识别信息不全面,导致结果可信度不高。针对上述问题,在系统分析现有卷积神经网络模型和情绪识别方法的基础上,本文展开了适配移动端设备的轻量化卷积神经网络模型研究;基于面部表情图像、语音的情绪识别研究;基于信息融合的情绪识别技术和系统研究。本文的主要创新工作如下:1.提出了一种基于跃层注意力机制的轻量化卷积神经网络模型LiSANet（Lightweight Skip-layer Attention Net）。该模型结构拓宽网络宽度,提取不同感受野下的特征信息,采用深度可分离卷积减少计算成本,并应用跃层注意力机制提高分类准确率,在Cifar-10数据集上取得了 90.30%的分类准确率。LiSANet相比主流分类网络VGG19取得了相近的分类准确率而模型参数量缩减了 80%、计算量缩减了 95%,比参数量和计算量相当的轻量化模型MobileNet分类准确率高了 3.62%。2.提出了一种基于LiSANet的面部表情情绪识别模型F-LiSANet,采用预训练和调优方法,提高了模型运行速度和准确率。在Fer2013plus面部表情数据集上进行训练和测试,与VGG19模型相比,测试集和验证集分类准确率分别高了 0.21%和3.44%,同时模型参数量仅为VGG19的30%,模型复杂度仅为其5%。3.提出了一种基于LiSANet的语音情绪识别模型S-LiSANet。以语音信息转化的声谱图作为输入,在语音情感数据集EMO-DB上进行训练和测试。本研究采用了增加随机白噪声的方法进行数据增强,使模型分类准确率提高了20%。4.研究了基于F-LiSANet和S-LiSANet的BP神经网络决策层信息融合的情绪识别模型与系统。在eNTERFACE视听情感数据集上,将模型进行融合训练和测试,得到分类准确率为90.16%,与单一信息源模型相比准确率有了一定的提升。根据训练所得的融合网络模型在智能移动机器人上搭建了情绪识别系统。