随着人工智能技术与深度学习的发展,情感识别作为人机交互领域的一个重要部分,逐渐成为研究的热点,展开深入研究旨在实现对人类情感具有分析、理解和学习能力的人机系统在情感的交互中更加具有人性化和智能化。本文基于目前计算机领域的相关研究成果,提出一种基于多阶段混合融合的维度情感识别方法,在IEMOCAP和MSPIN两个公开数据集上进行单模态、双模态和多模态实验,并与目前先进的基线方法对比。具体工作如下:（1）在双模态维度情感识别中,存在由于信息不全面而导致预测性能不高的缺陷。为了深入理解人类交流中包含的丰富情感内容,且动作捕捉数据在维度情感识别上缺乏研究,本文在语音和文本特征的基础上结合通过非语言方式表达情感的动作捕捉数据来推断表达的情感。针对动作捕捉数据的特点,基于1D-CNN和2D-CNN网络进行建模,在模型训练阶段,结合多任务学习机制以同时预测效价、唤醒和支配维三个情感维度与其真实情感标签之间的一致性相关系数,旨在提高特征质量以保证下一阶段中基于机器学习回归算法的决策级融合的预测性能有所上升。实验结果表明,虽然动作捕捉数据在单模态实验的表现相比语音和文本并不理想,但在双模态的实验基础上添加动作捕捉数据更有助于提升三个情感维度中效价维的值。（2）如何实现模态内部的完整表示以及选择最佳的融合方法对不同模态特征进行融合,是研究人员当前面临的挑战。为了解决传统的决策级融合方法存在无法考虑不同模态特征之间的一致性和相关性的问题,提出一种混合融合方法进行多模态情感识别。首先,通过concatenate方法将LSTM、Bi LSTM和2D-CNN网络与密集层相结合来构建串联网络,然后,将通过深度学习网络训练后得到的单模态特征和串联特征都作为SGD模型的输入,该模型应用回归分析将输入数据映射到给定的标签,获得最终的预测结果。实验结果表明,该融合方法可以有效提高任务预测性能并优于特征级和决策级融合。（3）在多模态实验的基础上基于其他机器学习回归算法展开了进一步研究以证明回归算法选择的合理性。最后,为了充分利用SGD模型的输出数据,又提出一种基于多阶段的融合策略,将现阶段SGD模型的输出数据作为下一阶段SGD模型的输入数据,实验结果表明,效价、唤醒、支配维三个维度的值以及CCC均值都有提升。