当前,中国的老龄化问题日益严峻,给政府带来了沉重的财政负担。老年人随着年龄的升高,极容易产生孤独、苦闷、失落等不良情绪。试想如果有一款家庭服务机器人能够精准的识别人类的情感,就可以做到与老年人进行情感交互,帮助老年人对抗社交孤立、消除孤独感,从而提高老年人的心理健康程度,缓解社会负担。另外,具备情感识别功能的机器人在智能安全驾驶、医疗康复、学校教育、罪犯心理分析以及市场销售等领域也有着广阔的应用场景,因此开发一款具有情感识别功能的机器人是一件非常有意义的事情。近年来,深度学习技术快速发展,在众多领域取得了令人满意的效果,基于深度学习的识别技术也因此成为了情感识别研究领域的主流方法。本文以深度学习技术作为基础,针对当前情感识别技术种存在的问题,提出了基于度量学习与注意力机制的解决方案,主要研究成果如下:（1）针对人类个体属性、光照强度等因素导致模型提取出的表情特征出现类间差异度小、类内差异度大的问题,提出了一种联合局部图像和深度度量学习的表情识别算法。首先,基于人脸的landmarks检测出和表情最相关的活动单元组成局部图像进行提取特征,构建的局部图像能够明显减少环境变化及人类个体属性差异带来的噪声,减少计算量。其次,提出了一种表情度量损失函数,该函数能够明显地增大表情的类间距离,减小类内距离。最后,通过联合优化分类损失和度量损失提升了模型识别的精确度。经实验验证所构建的模型在三个流行表情数据集上的结果都超越了当前最先进的方法,并通过对模型提取出的特征进行可视化,验证了所提出的表情度量损失函数的有效性。（2）第一部分的工作经过进一步研究发现存在以下问题:一是当输入图像比较复杂时,获取到的landmarks置信度不够高,致使得到的局部图像具有很弱的代表性;二是标记landmarks的成本比较大;三是上述模型没有像人类那样综合考虑人脸的一些局部信息进行表情识别。针对上述缺点,提出了一种基于视觉自注意力网络的表情识别模型,此模型旨在综合考虑人脸的局部信息进行表情识别。首先,基于数据增强技术构建不同环境干扰下的局部图像。其次,为了把局部图像的鲁棒性特征进行融合,通过对Transformer模型进行改造,构成了一种视觉自注意力网络,其能够考虑到局部图像之间的相互影响,使表情特征有更加判别性的表达。最后,经实验验证所构建的模型在五个流行表情数据集上的识别率都能达到或超越当前最先进的方法,较好的说明了模型的性能。（3）前两部分方法仅是依据人类的表情识别情感,这种单模态的研究方法存在以下问题:一是由于人类的情感复杂,仅从单一模态进行识别,不足以说明人类的真实情感;二是单模态的研究中会存在各自的问题,如面部表情容易受到光照强度、遮挡等因素的影响,语音信号容易受到各种噪声的影响。如果利用多模态信息进行研究,会起到各种模态信息互补的作用,提升识别的准确率。因此,在这一部分中本文基于所参加的情感识别比赛探究了另一种模态（文本）的情感识别算法,并对图像和文字两种模态做了融合。具体地,提出了一种基于Bert模型的情感分类算法,结合基于注意力机制构建的动态融合策略、度量学习、多模态融合与模型集成方法,在情感识别分类比赛中取得了较好的名次。（4）在上述理论方法的基础上,为了使算法实际落地,不仅从软件和硬件两个层次对上述提出的模型进行了轻量化处理,且进行了系统实现。软件方面使用网络结构优化技术与模型剪枝方法对模型进行了压缩和加速,硬件方面使用Jetson Xavier NX提升了模型的推理速度。通过以上方法可明显缩减模型的参数量和计算量,有效的提高模型的识别速度,提升算法的实用性。