基于多模态融合的情感识别研究

来源 :延安大学 | 被引量 : 0次 | 上传用户:HUYA123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的快速发展,人们对人机交互的人性化和智能化有了更高的要求,这使得情感计算成为当前的研究热点之一。情感识别作为情感计算研究领域的一个分支,具有广阔的应用前景。目前情感识别的主要研究方法有,基于单模态的情感识别和基于多模态融合的情感识别。在情感识别的研究中,由于单一的模态信息不能完整的表达情感信息,因此研究者们从单模态的情感识别研究逐渐向多模态情感识别转换。现阶段的研究者们使用的多模态情感识别算法,没有充分利用多模态之间的上下文相关性信息,带来了情感识别分类准确率不高的问题。所以本文针对上述问题,提出一种基于上下文的低秩张量多模态融合网络模型,可以解决目前情感识别算法存在的问题,并且该模型对情感识别具有研究意义。在多模态情感识别任务中,研究者们使用一种端到端学习的张量融合网络,该网络可以对模态内和模态间的动态作用进行建模,从而提高了在复杂场景下的情感识别准确率。张量融合网络方法的关键是将输入模态转换为张量进行相应的训练,但会带来维数和计算复杂度指数级增加的问题。为解决目前多模态情感识别算法中存在未能充分利用信息间相关性的问题,本文提出使用门控循环单元(Gate Recurrent Unit,GRU)对模态内的上下文相关性进行建模,这样不仅能够充分利用视频数据中的有效信息,而且使得本文所提的网络模型在训练中具备传递上下文信息的能力,从而实现融合分类性能的提升。本文提出的基于上下文建模的低秩张量融合网络算法解决了模态间融合时维数过高和计算复杂度呈指数增加的问题,同时该算法提高了多模态情感识别的分类效率。为进一步验证本文算法的分类效率和分类准确率,在CMU-MOSI、POM和IEMOCAP三个不同的数据集上进行实验,实验结果表明,将本文算法与张量融合网络方法相比,在三种数据集上的情感识别分类精度各自提高了2.9%、1.3%和12.2%,并且与其他方法相比,本文提出的方法在分类效率和分类准确率都有了明显的提升。因此本文所提算法为多模态融合的情感识别研究提供了一定的理论参考。
其他文献
研究背景:胃癌(Gastric cancer,GC)是消化系统中常见的恶性肿瘤之一。近年来,在国际上胃癌发病率相比于身体其他系统的恶性肿瘤发病率趋于平缓,甚至已呈现下降趋势。但在我国,尤其是我国农村地区胃癌发病率及病死率仍居前列,并且因其发现晚、预后差、患者晚期生活质量差等特点,一直是人们谈之色变的恶性疾病。淋巴结转移状态作为评估其预后的一项重要因素,多年来一直是学者研究的热点内容。为减少或避免T
学位
传染病大流行期间,感染人数会在短时间内激增,病患的有效分配是非常重要的环节。如何在较短的时间内为病患分配就诊时间最短的医院是分配时所需解决的关键问题。本文以新冠疫情为大背景,研究一种智能调度算法,该算法同时兼顾优化性能与计算时间两种性能指标,主要以超启发式方法为主体框架,配合元启发算法进行调度优化。主要研究成果如下:(1)建立问题模型并提出基于蚁群优化算法的超启发式方法求解该问题。对2020年初爆
学位
教育在乡村振兴中发挥着先导性和基础性作用,以振兴乡村教育赋能乡村振兴,扎实推动巩固拓展教育脱贫攻坚成果同乡村振兴有效衔接,是教育的使命和职责。健全学校家庭社会育人机制是构建乡村教育高质量体系的必然选择。乡村家校社协同育人是在乡村社会实现立德树人根本任务的重要组成部分和基础性工程,其质量提升不仅事关人的自由全面发展,而且关系乡村教育振兴以及教育振兴乡村战略的落地落实。然而,当前乡村家校社协同育人面临
期刊
目的:研究纤维蛋白原/白蛋白比值(FAR)与冠心病PCI术后支架内再狭窄(ISR)的相关性,并分析其对ISR的预测价值。方法:本研究属于回顾性病例对照研究。研究分析了自2018年12月至2020年12月在延安大学附属医院心血管病中心首次PCI植入药物洗脱支架(DES)并于术后12个月复查冠脉造影或冠脉CTA的冠心病患者中进行。按纳入、排除标准共纳入254例患者,其中96例支架植入后再狭窄(ISR)
学位
目的:研究GGT和Apo B/Apo AI水平在早发冠心病(premature coronary heart disease,PCHD)患者中的表达,探究GGT、Apo B/Apo AI与PCHD冠状动脉病变程度的相关性。方法:选取2020年7月-2021年7月因胸痛疑似为早发冠心病,于延安大学附属医院心血管病中心行冠脉造影(coronary angiography,CAG)术的患者。根据纳排标准
学位
目的:旨在通过对不同产次晚发型子痫前期患者血脂水平,包括总胆固醇(Total cholesterol,TC)、甘油三酯(Triglyceride,TG)、低密度脂蛋白胆固醇(Low density lipoprotein cholesterol,LDL-C)、高密度脂蛋白胆固醇(High density lipoprotein cholesterol,HDL-C)、载脂蛋白A1(Apolipopr
学位
目的:通过比较计算机导航辅助下与徒手经皮椎弓根螺钉内固定术治疗胸腰椎骨折的治疗效果,评估计算机导航的优劣势。方法:收集2015年1月至2021年1月在延安大学附属医院、脊柱外科住院治疗的胸腰椎骨折患者的病历资料进行分析,选出符合纳入与排除标准的60例患者,男性42例,女性18例,年龄24~58岁。根据手术方式不同分成两组,其中30例患者采用计算机导航下经皮椎弓根螺钉内固定术治疗,为导航组;其余30
学位
作为国家战略性新兴产业的重要支柱,半导体产业具有高技术密集性和高资本密集性的特征,随着产业规模的迅速扩张,企业间的竞争愈发凸显,客户对于产品不断升级的需求,使产品的先进性成为半导体企业市场认可度与竞争优势的集中体现。在芯片需求持续上升、国家战略支撑的大背景下,半导体企业的发展战略必须顺应国家战略。基于企业发展战略的需要,行业内企业积极通过并购来应对所面临的竞争压力,谋求产业结构的调整,获取核心竞争
学位
目的:检测KDM5A、E-cadherin和Vimentin在结直肠癌组织及癌旁正常组织中的表达情况,分析三者在结直肠癌中的表达与患者临床病理特征之间的关系。探究KDM5A在结直肠癌中的作用及与EMT可能的关系。方法:收集延安大学附属医院病理科2021年7月至2021年12月行结直肠癌根治术患者的肿瘤组织标本及癌旁正常组织标本56例。采用免疫组织化学(Immunohistochemistry,IH
学位
群智能算法是一种模拟自然界中动物群体的种群机制和各种社会行为的优化计算方法,此类算法由于对所求问题没有特定要求且实现简单,被广泛应用于各类优化问题。群智能算法的关键点在于如何平衡算法的全局和局部搜索,针对这个问题,学者们展开了大量研究,提出了许多方法。灰狼优化算法作为一种新的群智能算法,具有控制参数少、收敛速度快等特点,在寻优能力方面有非常好的表现,因此被广泛应用于优化问题。本文基于经典灰狼算法,
学位