情感交互是实现人机交互的重要方式,通过收集人的多模态信息,机器人能够识别人的情感状态,并根据相应的情感分析结果给出合理的反馈。由于模态数的增多,噪声污染和数据冗余等因素严重影响了情感识别算法的效率。快速、准确地从多种模态信息中提取具有决定性的情感特征是多模态情感识别研究领域的难题。本文针对现有双模态情感识别方法易受到噪声污染和数据冗余等问题的困扰而导致识别率较低的问题,提出了一种基于深度学习与回溯比较的视听情感识别方法,该方法包括视频预处理、视听情感识别模型的构建以及回溯比较三个阶段。本文的主要工作如下:在视频预处理阶段,将视频分离为人脸图像帧序列和音频两个部分,对视频数据集采用音频音量阈值法进行筛选和分组,得到情感特征较为丰富的图像帧序列和音频片段。视听情感识别模型分为人脸图像和语音两个部分。在人脸图像部分,将人脸图像帧序列输入到3D-Res Net中进行特征提取和情感识别;在语音部分,通过对语音信号进行频域处理得到梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)和梅尔频谱图,将它们分别输入到LSTM和CNN两个并联的神经网络结构中进行特征提取,然后将提取到的情感特征输入到Fusion Unit中进行融合,最后连接Softmax函数进行情感识别。回溯比较的决策级融合过程是视听情感识别模型的优化过程。对视听情感识别模型中视听两个部分的识别结果进行判断,若识别结果不一致时需回溯到视频预处理阶段,降低音量阈值,选择对应分组的图像帧序列和音频重新进行情感识别模型的构建。本文采用开源的视频数据库RML和e NTERFACE’05进行实验,随着回溯次数的增多,实验消耗的时间的增加,本文算法的整体识别率也在逐渐上升。最终在经过3轮回溯比较之后,本文算法的整体识别率在RML和e NTERFACE’05两个数据库上,分别达到了83.58%和88.21%。通过大量的实验和相关文献数据的对比分析,能够充分证实本文所提出的视听情感识别方法的有效性。