论文部分内容阅读
情感的准确表达需要借助多种模态,情感识别是一项复杂的分类任务。社交媒介上的舆情数据大都为非结构化数据,具有结构不一、维度高、冗余信息量大等特点。在单个模态特征提取过程中,模态内部容易产生冗余信息和噪声数据。针对此,设计出一种既能用于不同模态的特征提取,捕获模态内部的信息依赖,又能剔除冗余信息和噪声数据的情感识别模型至关重要。同时,不同的模态间也存在着信息依赖。传统的特征融合忽略了模态间的信息关联。在维持原始数据特征分布的基础上,如何融合多种模态进行情感识别是另一个亟待解决的问题。针对以上问题,本文主要利用文本、语音、视频三种模态,采用深度学习技术对多模态情感识别进行研究。为了去除单模态特征提取过程中产生的冗余信息和噪声数据,本文设计了一种结合卡方检验的多模态情感识别模型。在该模型中,首先为各个单模态设计了独立的特征提取方案,随后加入LSTM结构,获取各个单模态内部的信息依赖。接着,加入了卡方检验特征选择方法,对特征去冗除噪。通过一系列的实验结果对比,本文设计的一种结合卡方检验的多模态情感识别模型性能表现最佳。与基准线相比,本文设计的模型情感识别率最高提升了7%。另一方面,各个单模态数据具有不同的特征分布,且不同的模态特征之间也存在着信息关联,当一种模态特征稀疏时,其它模态会帮助情感决策。为此,本文设计了一种结合决策级融合的多模态情感识别模型。首先,本文先为不同的单模态设计了独立的特征提取方案,通过LSTM结构和卡方检验对各个单模态数据内部进行上下文特征依赖捕捉和特征去冗除噪。随后,分别采用决策级方法和特征级方法进行特征融合,LSTM结构用于捕获模态间的信息依赖,SVM作为分类器。通过一系列的实验结果对比,本文设计的模型性能与单模态情感识别模型相比性能最佳,且决策级融合的模型性能要优于特征级融合的模型性能。与基准线相比,本文设计的模型情感识别率最高提升了5.2%。