论文部分内容阅读
情感是人类认知活动的基本组成部分,良好的情感交互能够大大提升人机交互产品体验。人类获得情感的最重要的两个途径是:听觉与视觉。由于听觉系统结构的特点,听觉情感的发生机理、触发条件、影响因素、认知规律等基本问题尚未明确,还需要深入细致地进行探索。如何使计算机具有先进的情感处理能力,实现类脑智能,从而进行自然地人机交互是人工智能领域一个亟需解决的问题。目前音频情感识别方法大都基于统计或传统机器学习方法,缺乏听觉认知规律的指导,这极大地限制了听觉情感计算技术的发展。目前最有效、最直接的研究方法是从人脑情感系统的信息处理机制入手。因此,本文面对听觉情感处理的挑战,重点研究了听觉情感脑认知规律,结合声音信号与脑电信号的情感分析和识别方法,对听觉情感的认知规律和音频情感的计算方法展开研究。重点研究了听觉情感脑认知规律及分析方法,脑电信号(Electroencephalogram,EEG)的特征提取方法,基于脑电信号的情感状态识别方法,以及脑启发的音频情感识别等核心问题,主要研究内容包括:(1)针对缺少长时听觉情感认知分析方法的问题,提出了基于自动听觉事件检测的长时脑电成分分析方法和基于频带差异的长时脑地形图分析方法,从脑电信号本身出发,实现了对情感变化过程的动态描述。此外,精准的认知分析方法与实验范式是情感认知规律发现的前提。针对听觉诱发情感实验,提出了不同语义层次,不同时长的情感声音、音乐、语音的实验方法:针对短时声响和语音提出了改进的N-back实验范式;针对长时音乐,提出了“听前-听时-听后”的三阶段情感诱发实验范式。最后,分别总结了发现的听觉情感认知规律,以及其应用场景。(2)针对传统特征提取方法无法消除脑电信号个体差异性的问题,提出了一种基于常数Q变换(Constant Q Transform,CQT)的脑电信号分析方法,引进了情感脑电频谱响应差异度(Emotional EEG spectral difference,EESD)来优化CQT频带划分。在复杂的实际环境中,所获得的脑电信号通常存在个体差异,如何准确有效提取脑电特征对情感脑电的分析有重要作用。为此,在脑电频带认知规律的基础上,提出了基于情感脑电频谱响应差异度EESD的情感个体差异计算指标,实现对个体差异的计算;同时,通过改进的CQT变换,对脑电信号的频谱差异进行精准的表达;通过EESD优化CQT变换,达到消除脑电信号个体差异的目的,从而提高情感状态识别率。在实验室采集的音乐调式诱发情感脑电数据以及公开数据集上进行了实验验证,结果表明本文方法比基线采用经典Welch方法得到的准确率分别提高约三个和四个百分点,解决了个体差异精确提取的问题,能够更好的揭示情感脑电频谱分布的特点。(3)针对情感脑电信号特征提取的问题,提出了一种基于认知拓扑约束矩阵(EEG topology constraint matrix,TCM)的脑电信号公共空间模式(Common Spatial Pattern,CSP)特征优化方法。脑电信号包含的电极空间特征,只有通过高效的建模才能有效提取出来。CSP虽然能够提取脑电信号的空间信息特征,但多电极脑电信号含有大量的冗余信息,这些冗余信息会提高计算复杂性,降低识别率。针对CSP特征优化的问题,我们首先提出一种基于卷积神经网络(Convolutional Neural Network,CNN)的CSP特征分析方法,利用CNN网络进行特征矩阵学习,对获得的全连接层权值矩阵进行分析,通过定义特征筛选准则,得到降维高效的EEG特征集。其次,根据人脑对情绪认知脑区分布差异规律,提出了情感拓扑约束矩阵量化指标TCM,将认知规律引入到CSP计算方法中,提出了基于拓扑约束保持的TCM-CSP计算方法,进一步缩小特征与情感类别之间的鸿沟。通过在公开库上的实验结果证明本文所提出的方法,能够有效地找到情感相关特征,提高脑电情感识别率。(4)针对情感计算研究缺少人类情感认知规律与计算模型的指导的问题,提出了基于脑启发γ分布的音乐情感计算方法。首先在听觉特征与情感响应的分析的基础上,提出了一种基于脑启发γ分布的情感计算方法,解决了对情感变化动态描述的问题,并应用在音频情感特征选择中,提高了情感拟合率。其次,考虑样本间情感的相对关系,提出了基于表征相异矩阵(Representational Dissimilarity Matrix,RDM)的情感特征分析方法,进一步从空间分布方面深入分析情感特征,并在此基础上,提出了基于Lasso回归的情感预测方法,实现了对听觉情感的预测和识别。本文针对听觉脑认知规律和情感计算方法的关键问题进行了深入细致研究,重点解决了听觉情感脑认知规律分析,基于认知规律的情感脑电信号特征提取、情感状态识别,以及基于认知规律的音频情感识别等核心问题,为各种认知信号处理奠定了坚实基础。同时,利用脑科学的认知规律作为情感计算模式识别方法的指导,并通过计算方法对认知规律进行印证,对相近领域具有重要启发意义。