情感是人类表达个体思想的主要方式,在日常生活中占据着非常重要的地位。情感识别是当前人工智能和人机交互领域的重要研究内容,被众多研究人员广泛关注。情感识别的早期研究大多基于单一的模态,随后发现采用单一的模态进行情感识别具有很大的局限性,而不同模态之间提取的情感特征在一定程度上能够互补,通过对不同模态融合进行情感识别,能够进一步的提升识别精度。语音和人脸表情是人类表达情感最快捷、直接的方式,成为了情感识别研究中重要的模态。近年来,深度学习被广泛应用在人工智能的众多领域,并取得了相当不错的成就。因此,本文利用深度学习技术的优势,将其应用于双模态情感识别,开展了基于深度学习的语音和人脸双模态情感识别的相关研究,具体的工作内容如下:1.针对目前大多数研究采用一维的语音信号作为输入,忽略了时域与频域的相关性,以及未处理无声的帧和与情感无关的帧,生成情感特征区分性不强的问题,提出了注意力感知的深度卷积神经网络语音情感识别模型ADCNN。该模型将语音信号的对数-梅尔谱图及其一阶、二阶差分系数作为卷积神经网络的输入,为每个语音片段提取深度特征;然后结合时间金字塔匹配算法,将维度不固定的片段级情感特征转换为具有固定维度的话语级情感特征;最后通过注意力机制给提取到的特征赋予不同的权重,利用SVM分类器实现情感分类。实验结果表明,ADCNN模型更好的关注了语音信号时域和频域的相关性,生成了区分性更强的情感特征,从而提升了准确率。2.针对单一的模态进行情感识别具有很大的局限性,不同模态之间提取的情感特征在一定程度上能够互补,提出了语音结合人脸的双模态情感识别。对于语音信号使用ADCNN提取特征,对于人脸图像使用3D-CNN网络提取人脸表情情感特征。然后通过DBN模型构建的融合网络对两种模态的特征进行融合,更好的结合两个模态提取到的特征之间的关系。最后把双模态的融合特征作为支持向量机SVM的输入进行情感识别。实验证明,双模态情感识别能够弥补单一模态的局限性,取得了更高的情感识别准确率。