论文部分内容阅读
情绪是人对外界事物满足自身需要产生的一种心理和生理反应,在决策、感知和交流等方面发挥着重要作用,特别是负性情绪,超过一定强度的负性情绪会降低工作效率,影响身心健康,甚至引发抑郁、焦虑等精神类疾病。目前在情绪识别研究中存在情绪诱发强度单一,识别正确率较低等问题,本文针对多强度的负性情绪,提出了基于脑电信号（Electroencephalogram,EEG）与功能性近红外信号（functional Near-Infrared Spectroscopy,f NIRS）特征融合的情绪识别方法。首先,本文根据EEG和f NIRS信号在时间、空间上分辨率互补的特性,依托国际情绪图片系统（international affective picture system,IAPS）设计了适用于EEG和f NIRS信号同步采集的实验范式,诱发受试者五种情绪状态,分别为高强度负、中等负、轻度负、中性和正性情绪。其次,本文应用Welch算法提取不同情绪状态下受试者的EEG功率谱能量特征和左右脑不对称性指数进行分析,结果表明在负性情绪下,多个频带（delta、theta、alpha、beta、gamma1）的功率谱能量值低于正性情绪的功率谱能量,且发现在不同情绪状态下,大脑额颞区具有较强的不对称性指数,并向中央区依次递减。通过计算f NIRS信号的氧合血红蛋白浓度的均值、峰值、方差、斜率特征,结果发现在负性情绪下,氧合血红蛋白浓度曲线波动较大。对EEG的各频带功率谱特征与f NIRS氧合血红蛋白浓度特征进行皮尔逊相关性分析,发现EEG与f NIRS在delta-斜率,theta-斜率,alpha-方差,beta-方差处呈显著相关。最后,本文运用主成分分析算法筛选出35个有效主成分,并采用支持向量机进行模式识别。单模态下,EEG功率谱能量特征与不对称指数特征的五分类平均分类正确率分别为88.88%和70.20%;f NIRS氧合血红蛋白浓度特征的五分类平均分类正确率为40.10%。进一步将EEG中分类效果较高的beta频带功率谱能量（90.42%）与f NIRS特征分别在特征层与决策层进行融合,发现特征层融合的分类正确率优于决策层融合,可达到94.07%,显著高于单模态EEG与f NIRS分类正确率。最后应用8层卷积神经网络进一步提高基于双模态特征的分类性能,正确率提升至99.20%。综上所述,本研究分别从EEG和f NIRS两种维度探讨了多强度负性情绪的响应机制,验证了EEG-f NIRS双模态特征融合在多强度负性情绪识别研究中的可行性,为解决目前情绪识别的难题提供新的理论和技术支持。