基于多模态生理信号的情感识别方法研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:zxjln
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
让计算机精确地了解人的情感状态是实现人机交互的前提。生理信号是人体器官相互作用产生的生物电信号,能够自发地反映出人类内心的真实情感。在不同环境下提升生理信号的情感识别性能是许多科研人员一直追求的目标,根据个体、激励素材和应用场景的不同,多模态生理信号样本的分布差异性会严重影响到生理情感识别的效果以及模型的泛化能力。鉴于此,本文在不同实施性能的验证方案下分别基于传统生理信号识别方法和神经网络框架对情感分类任务进行研究,旨在改善生理信号情感识别系统的性能,并在多人或复杂环境中提升系统的稳定性和普适性。1)针对传统生理情感识别方法中特征选择和模型识别任务相互孤立的问题,基于极端梯度提升(Extreme Gradient Boosting,XGBoost)原理提出了一种融合多指标特征选择算法XGB-FMIFS。该算法分别从节点分裂次数、增益和覆盖样例数的角度出发,综合地对weight、gain和cover三个指标所涉及的重要特征范围进行考虑,并根据准确率评价标准以迭代的方式获取最佳的特征子集,在一定程度上避免了单指标特征范围选取的片面性,减小了特征子集陷入局部最优的可能性。为了使特征子集具备较强的区分能力,引入了线性核的主成分分析进行特征处理。实验结果表明,相对于传统或单指标下的特征选择方法,XGB-FMIFS算法能够在等分频段融合标准(Equal Band Fusion Standard,EBFS)下结合线性核的主成分分析获得较好的识别性能改进。2)针对不同个体间情感素材体验程度存在差异性问题,基于情感趋近回避趋势效应及大脑功能的非对称性,从时间窗口角度出发,引入了非对称指数(Asymmetry index,As I)的计算,并结合两组脑电通道信号(Fp1,Fp2,Fz和AF3,AF4,Fz)对生理样本窗口信息所携带的情感程度进行度量,筛选出情感程度较强的窗口样本。为了解决As I筛选后窗口样本间的时序关联性差且样本较少带来的训练不足等问题,基于储备池的时序处理优势,对所有样本进行内塑性学习,从而在储备池中得到样本的稳定特征结点,最后借鉴XGB-FMIFS算法思想并加以改进,获得储备池中的有效特征结点子集用于情感识别。实验结果表明,该方法能在所有被试参与(Subject All Participation,SAP)和留一人验证(Leave One Subject Out,LOSO)的实施方案中实现了生理识别性能的提升,并且筛选的窗口多数分布于整个样本时间段的中间位置,这对今后的研究具有一定的指导意义。3)针对领域间生理样本分布差异较大导致情感识别效果不佳的问题,提出了一种特征空间和样例协同迁移优化的生理情感识别方法。首先为了进一步丰富特征信息,通过频段交叉操作提取相位排序转移熵,然后使用迁移自适应提升Tr Ada Boost算法获取和适配正则化主成分分析ARPCA学习模型一致的目标域标签,通过迭代更新对特征空间嵌入表征进行修正,从而在通道、频段和窗口间实现特征适配和样例权重学习的有效互补,最后将该方法嵌入到XGB-FMIFS的算法框架中获取领域间的最佳生理特征子集。实验结果表明,在留多人验证(Leave Multiple Subjects Out,LMSO)和跨数据库间验证(Cross database verification,CDV)的实施方案中验证了所提算法的性能和可行性,同时在复杂环境下也有利于提升情感识别接口的稳定性。4)为了进一步提升域间生理情感识别的性能和改善模型学习的自适应能力,提出了一种连续标签融合的半监督生成对抗框架算法。首先将样本按照时序的先后在储备池中进行非线性映射,并设计了样本时序封装方法把映射后的样本封装成具有回声状态特性的单位样本,然后设计离散标签连续化方法获得更加真实的连续标签信息,并和源域的编码特征通过哈达玛积融合得到特征和标签的联合信息表征,同时使用生成器产生编码特征样本对目标域样本的学习进行增强。经过不断地对抗学习,在领域间实现了联合分布匹配和更新,最终在编码器中获得具有类别区分度的特征不变空间。实验结果表明,该方法能够在域间样本分布差别较大的情况下改善分类识别的性能,同时在一定程度上实现了模型的自适应学习,进一步提升了系统的泛化能力。
其他文献
随着我国社会经济的飞速发展和物质财富极大丰富,人们的物质生活水平得到了极大的提高,消费者也越来越倾向于购买高端化、个性化和品质化的产品。但传统的自动化生产线主要实现单一品种、大批量的生产,这一生产模式已远远不能满足消费者的需求。为解决需求变动所带来的生产问题,考虑到高端化、个性化和品质化产品的多品种、小批量、到达时间随机等特点,企业往往采用工作台的生产方式,安排员工各自加工,然后根据工艺要求,将加
该文针对行政规范性文件的文本纠错任务,提出了一个基于BERT(Bidirectional Encoder Representations from Transformers,一种经典的自然语言处理领域的预训练模型)的文本纠错模型,模型针对冗余、缺失、错序、错字等四类任务分别建模,分为检错和纠错两个阶段。检错阶段检查出文本是否有错、错误的位置以及错误的类型等内容,纠错阶段运用BERT掩码语言模型和混
下扬子地区在晚中生代时发生了强烈的、多阶段的成岩成矿作用,形成了大量的岩浆岩和多金属矿床。然而,下扬子地区内的两大构造单元,长江中下游成矿带和江南造山带东段,却有着明显不同的成矿特征。长江中下游成矿带燕山期岩浆作用主要产生Cu-Au-Fe矿床,而江南造山带东段却发育大量W-Mo矿床。此外,相对于与成矿密切相关的早阶段岩浆岩而言,长江中下游地区晚阶段A型花岗岩的岩石成因及构造背景研究较为薄弱,且争议
采用酶解法提取新疆伊吾县野山杏多肽,探究其对衰老模型小鼠的抗氧化作用。通过单因素实验,考察酶底物比、料液比、提取时间、p H值和酶解温度对野山杏多肽水解度的影响,结合正交试验,优化野山杏多肽提取工艺;以提取物为原料,D-半乳糖制备小鼠衰老模型,分为空白对照组,野山杏多肽低、中、高剂量组(50、75、100 mg/kg),衰老模型组以及Vc阳性对照组,连续灌胃饲养30 d,测定血清、肝组织和脑组织匀
图或者网络可以对现实世界普遍存在的实体、关系、属性进行建模,构成属性网络。随着信息技术的发展,各种网站、桌面软件、手机应用、传感器产生了大量属性网络数据,如人们熟知的社交网络数据,物联网数据等,为相关研究提供了丰富的数据资源。属性网络的模式发现被广泛用于传染病爆发预测、道路拥堵检测、网络入侵检测等领域。现有网络模式发现的研究多关注单一网络或网络结构方面,而本文将研究重点聚焦于属性依存网络,即多个存
随着环境和能源的严苛要求,电动汽车已成为当前和未来很长一段时期汽车产业发展的趋势,正加速向电动化、智能化、轻量化方向发展。与目前集中式驱动的电动汽车不同,分布式驱动电动汽车具有传动高效、结构紧凑、各轮驱动与制动力矩独立可控等特点,动力输出更加平稳高效,被认为是未来低碳社会与智慧城市的主要交通工具之一。分布式驱动电动汽车取消了差速器等传动系统的机械连接,由四个独立的轮毂电机直接驱动,这对提升汽车稳定
传统特征选择方法在进行特征选择前,特征空间中的所有特征都已存在并且其特征值是可获取的。然而,在实际应用领域的许多具体问题中,存在很多无法预先获取整个特征空间,并且其特征以流的方式存在的场景。为此,出现了面向特征流的在线特征选择方法研究。特征流是指特征数据以流的方式逐个或成组到达,且无法提前获知整个特征空间的信息。随着大数据时代数据体量和维度的剧增,传统批处理模式的特征选择方法因不具有增量处理特性,
自从实时渲染的技术面世以来,一度成为影视动画行业热议的焦点。随着计算机硬件的不断进化与软件研发的技术突破,实时渲染技术也经历了几个发展阶段,已经日趋成熟,以其为技术核心的虚幻引擎在游戏、数字艺术、工业设计、虚拟制片等领域的应用也十分广泛,一方面实时渲染技术的革新使三维动画的创作焕发了新的生机;但随着该技术的日渐普及,其昔日的优势也成了发展的瓶颈。如何应用实时渲染技术在三维动画创作中进行创新与突破,
人们身处在跨模态环境,人工智能要更好地理解人们所处的环境,则需要具备解析跨模态信息的能力。通过模态学习搭建能处理和连接跨模态信息的模型。如在内容理解领域,需要分析文本、图片、视频、语音等跨模态数据对应的不同级别特征和其他辅助描述特征等。因此跨模态媒体分析是目前人工智能研究中重要的课题之一,它为不同表现形式(模态)数据间提供了沟通的桥梁。根据跨模态数据的不同表现形式,研究者将跨模态媒体分析任务细分为
表示学习又称表征学习(Representation learning),是利用机器学习或数据挖掘算法获取实体或者关系的向量化表达。表示学习的目标是,通过机器学习将研究对象的语义信息表示为稠密低维实值向量。机器学习和神经网络领域顶尖专家Yoshua Bengio教授对表示学习的重要性进行了阐述:“机器学习算法的成功通常取决于数据表示,这是因为不同的数据表示可以或多或少的包含和隐藏数据变化背后的可解释