基于大脑脑电信号及编解码的视频情感计算研究

来源 :西北工业大学 | 被引量 : 0次 | 上传用户:ZWCSS
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感计算作为一个与计算机科学、心理学和认知科学相关的交叉学科,其研究内容与人类情感的产生、转换和维持相关。其中,情感状态辨识/情感标签标注被认为是情感计算中一个有重要意义的研究领域。近年来,研究者们投入了与生理信号的内隐式情感状态辨识/情感标签标注相关的研究工作,相关的发表的工作呈现出上升趋势。但是,在当前工作中存在如下不足。首先,多通道脑电图仪(EEG)允许研究者将大脑作为一个整体对大脑皮层活动进行观测,但是当前常用的建模方法却将此类活动以EEG单通道信号的简单拼接进行表达。其次,内隐式情感状态辨识/标签标注需要被试的生理响应信号,而采集生理信号在经济和时间上的代价都很高昂。第三,当前,已发表工作中提出了若干种不同种类的EEG特征,但是对这些特征的横向性能比较工作较少,导致为研究工作选择EEG特征的指导性信息也存在不足。本文论进行了如下研究工作以解决以上不足:1)提出了采用EEG电极连接对大脑活动进行建模的方法;2)提出了一项新的情感标签标注框架以减少对被试生理响应信号的依赖;3)提出了一个EEG性能比较框架。本论文贡献如下:1.提出了用于描述大脑情感活动的基于脑电图仪电极连接构成的EEG脑功能网络模型。针对当前多数工作中使用的脑电图仪信号特征不能描述大脑皮层相关区域之间关系的不足,提出了采用脑电图仪各电极间信号关系构成的EEG脑功能网络对大脑活动进行建模的方法。为描述脑电图仪各电极下大脑皮层活动的关系,提出了采用Pearson相关系数、相位一致性和互信息三种电极连接的计算方法并给出在生理上的解释。针对不同波段在人类情感活动中的不同作用,提出了将不同波段信号与电极连接相结合,计算相应波段信号的电极连接特征。实验表明,采用脑电图仪信号的电极连接脑功能网络特征对大脑情感活动进行建模并对被试所处的情感状态进行辨识的方法能够取得较好的辨识结果。2.提出了基于大脑编解码的多媒体情感状态辨识/情感标签标注方法。针对当前被试响应信号采集耗时长、成本高和由此带来的基于被试响应信号的情感计算方法受限的问题,提出引入大脑编解码概念、通过大脑编解码技术对被试响应缺失的多媒体视频内容进行被试生理响应信号的补全,并在此基础上进行情感状态辨识/情感标签标注任务的新情感计算框架。该框架的提出,一方面可以减少被试生理信号采集的开支,缩短实验时间,降低实验成本;另一方面可以拓展已有的情感计算数据的应用范围。为实现该框架,本文还对现有的大脑编解码框架进行扩展,将语义特征引入大脑编解码中,为该框架提供理论基础。实验表明,该情感计算框架在多媒体视频内容的情感标签标注任务中的性能好于直接利用多媒体视频内容本身在相同任务中的性能。进一步,本论文中提出的情感计算新框架在对情感数据库的应用范围拓展中,涉及由多媒体内容生成的刺激特征、大脑编码模型的训练中如何选择目标大脑信号特征这两项可变因素。针对刺激特征生成,分析了由多媒体内容生成刺激特征时音频信号特征存在与否对该框架最终性能表现的影响;针对大脑编码模型的训练,分析了不同目标大脑特征选择策略对该框架最终性能的影响。最终通过实验研究分析这两个因素对本论文提出框架的性能影响,并以此为基础讨论了在推广情感计算数据库应用范围时可能受到影响的因素。3.提出了EEG特征性能比较框架。该框架用于对EEG特征在内隐式情感计算中自身的性能进行比较。为避免特征以外的因素对任务结果产生影响,该框架应采用线性机器学习算法进行比较任务。为检验框架的有效性,引入验证实验步骤。实验结果表明,EEG特征在性能比较框架下的表现和验证任务中的表现趋向一致。这表明性能比较框架在比较EEG特征性能上是有效的,并且可以为其他情感计算任务提供关于EEG特征提取和表达EEG信号内信息的能力的指导信息。
其他文献
卡介苗接种是预防和控制结核病的有效措施之一.尤其是对严重威胁儿童生命的血行性结核病和结核性脑膜炎高度有效.为探讨PPD试验与接种卡介苗产生的卡痕大小之间的关系,我们对
期刊
脉冲现象普遍存在于许多实际控制系统中,脉冲控制因其容易实现且成本低廉的特有优势,已经成为用于维持系统稳定状态的一种重要控制手段。同时,执行器饱和现象是典型的约束现
新时期以来,南京大屠杀成为众多影像文本叙事的重要内容,甚至出现了专门以南京大屠杀为题材的电影,以此揭示、控诉和反思“南京大屠杀”的历史。南京大屠杀题材电影进行了各方面
文章选用天然植物染料葡萄籽提取物对Lyocell纤维针织物进行了直接染色,并研究了该织物直接染色的染色工艺及染色性能。结果表明,直接染色最优工艺为:葡萄籽提取物浓度5g/L、温度
要说一个民族而不提他们钟情数百年的传统服饰,那几乎是不可想象的。虽然,现代风习和观念不断强势介入着人们的普通生活,现代工业产品的规模冲击也不断改变着人们原有的生存
法律的生命力在于实施,法律的权威也在于实施。党的十八大报告明确提出,要推进依法行政,切实做到严格规范公正文明执法;党的十八届四中全会通过的《中共中央关于全面推进依法
期刊
为了定量分析织物中水分传输和双层织物组合的差动毛细作用机制,文章利用精密电子天平,组装了等液位分段快速响应毛细液体测试装置,分别对单层针织物及组合织物的垂直于织物方向
天下没有不爱儿女的父母。我从一个婴儿成长为一位青年只是一个瞬间,但这个瞬间却是十几年的一个过程。在这个过程中我的父母不知道为我付出了多少艰辛。