论文部分内容阅读
情感计算作为一个与计算机科学、心理学和认知科学相关的交叉学科,其研究内容与人类情感的产生、转换和维持相关。其中,情感状态辨识/情感标签标注被认为是情感计算中一个有重要意义的研究领域。近年来,研究者们投入了与生理信号的内隐式情感状态辨识/情感标签标注相关的研究工作,相关的发表的工作呈现出上升趋势。但是,在当前工作中存在如下不足。首先,多通道脑电图仪(EEG)允许研究者将大脑作为一个整体对大脑皮层活动进行观测,但是当前常用的建模方法却将此类活动以EEG单通道信号的简单拼接进行表达。其次,内隐式情感状态辨识/标签标注需要被试的生理响应信号,而采集生理信号在经济和时间上的代价都很高昂。第三,当前,已发表工作中提出了若干种不同种类的EEG特征,但是对这些特征的横向性能比较工作较少,导致为研究工作选择EEG特征的指导性信息也存在不足。本文论进行了如下研究工作以解决以上不足:1)提出了采用EEG电极连接对大脑活动进行建模的方法;2)提出了一项新的情感标签标注框架以减少对被试生理响应信号的依赖;3)提出了一个EEG性能比较框架。本论文贡献如下:1.提出了用于描述大脑情感活动的基于脑电图仪电极连接构成的EEG脑功能网络模型。针对当前多数工作中使用的脑电图仪信号特征不能描述大脑皮层相关区域之间关系的不足,提出了采用脑电图仪各电极间信号关系构成的EEG脑功能网络对大脑活动进行建模的方法。为描述脑电图仪各电极下大脑皮层活动的关系,提出了采用Pearson相关系数、相位一致性和互信息三种电极连接的计算方法并给出在生理上的解释。针对不同波段在人类情感活动中的不同作用,提出了将不同波段信号与电极连接相结合,计算相应波段信号的电极连接特征。实验表明,采用脑电图仪信号的电极连接脑功能网络特征对大脑情感活动进行建模并对被试所处的情感状态进行辨识的方法能够取得较好的辨识结果。2.提出了基于大脑编解码的多媒体情感状态辨识/情感标签标注方法。针对当前被试响应信号采集耗时长、成本高和由此带来的基于被试响应信号的情感计算方法受限的问题,提出引入大脑编解码概念、通过大脑编解码技术对被试响应缺失的多媒体视频内容进行被试生理响应信号的补全,并在此基础上进行情感状态辨识/情感标签标注任务的新情感计算框架。该框架的提出,一方面可以减少被试生理信号采集的开支,缩短实验时间,降低实验成本;另一方面可以拓展已有的情感计算数据的应用范围。为实现该框架,本文还对现有的大脑编解码框架进行扩展,将语义特征引入大脑编解码中,为该框架提供理论基础。实验表明,该情感计算框架在多媒体视频内容的情感标签标注任务中的性能好于直接利用多媒体视频内容本身在相同任务中的性能。进一步,本论文中提出的情感计算新框架在对情感数据库的应用范围拓展中,涉及由多媒体内容生成的刺激特征、大脑编码模型的训练中如何选择目标大脑信号特征这两项可变因素。针对刺激特征生成,分析了由多媒体内容生成刺激特征时音频信号特征存在与否对该框架最终性能表现的影响;针对大脑编码模型的训练,分析了不同目标大脑特征选择策略对该框架最终性能的影响。最终通过实验研究分析这两个因素对本论文提出框架的性能影响,并以此为基础讨论了在推广情感计算数据库应用范围时可能受到影响的因素。3.提出了EEG特征性能比较框架。该框架用于对EEG特征在内隐式情感计算中自身的性能进行比较。为避免特征以外的因素对任务结果产生影响,该框架应采用线性机器学习算法进行比较任务。为检验框架的有效性,引入验证实验步骤。实验结果表明,EEG特征在性能比较框架下的表现和验证任务中的表现趋向一致。这表明性能比较框架在比较EEG特征性能上是有效的,并且可以为其他情感计算任务提供关于EEG特征提取和表达EEG信号内信息的能力的指导信息。