【摘 要】
：
在人机交互领域,人类情感识别是一个具有挑战的问题,也是实现人与机器无障碍交流的关键环节。在情感识别中智能机器通过传感器采集目标对象的语言表达、面部表情和行为动作等数据进行分析,进而推断出该检测对象当前的情感状态。目前情感识别算法大多数是基于单模态社交信息构建的,识别结果较为片面且易受干扰,在脱离特定社交环境条件后其识别准确率往往难以满足实用要求。基于以上的现状与问题,多模态融合的情感识别模式得到了
论文部分内容阅读
在人机交互领域,人类情感识别是一个具有挑战的问题,也是实现人与机器无障碍交流的关键环节。在情感识别中智能机器通过传感器采集目标对象的语言表达、面部表情和行为动作等数据进行分析,进而推断出该检测对象当前的情感状态。目前情感识别算法大多数是基于单模态社交信息构建的,识别结果较为片面且易受干扰,在脱离特定社交环境条件后其识别准确率往往难以满足实用要求。基于以上的现状与问题,多模态融合的情感识别模式得到了广泛的关注。它并行提取交互过程中的异构数据线索,通过综合处理以上线索判断社交对象的情感状态。虽然多模态情感识别技术在原理上符合社交动力学的基本原理,但目前的研究仍存在一些问题,如多种不同的社交线索数据使得特征提取难度加大、对多种不同信号之间的内在关联的提取上存在困难、不同模态数据的融合方法与原理机制仍待明确等。此外,现有研究多数是建立在英文表达的情感之上,对于理解难度较大的中文表达研究相对较少。因此,本文利用中文表达的数据集,以多模态情感作为主要切入点,采用文本、语音和表情三个独立的特征信息为主要调研对象,充分考虑了相邻信息之间的联系,通过捕捉单模态中相关的特征信息和探索不同表达信息之间的融合方式,从而设计多模态情感识别模型。本文的主要工作与贡献如下:（1）提出了并联卷积模块和基于注意力机制的双向长短时记忆网络模块。其中,并联卷积模块采用不同的卷积方式和池化并行的方法充分提取上一层的特征信息并融合提取到的特征信息,在一定程度上实现网络轻量化;而采用基于注意力机制的双向长短时记忆网络模块可进行关键信息的提取,并保持信息传递的时序性。（2）对于语音和文本的情感识别模型,均在模型中增加并联卷积模块和基于注意力机制的双向长短时记忆网络模块,从而实现网络轻量化和保证信息的时序性;对于表情情感识别模型,为实现对连续视频帧的表情特征提取,同时减少不必要的计算损耗,采用3维卷积与2维卷积组合的方式,并且在模型最后也添加了基于注意力机制的双向长短时记忆网络模块来维持信息的时序性。（3）为实现不同模态间充分而有效地信息互补,通过多次实验验证,对于语音与文本信息的融合采用在第二次输入并联卷积模块前进行融合;对于语音和文本分别与表情信息的融合均采用在第一次输入双向长短时记忆网络前进行融合。（4）针对现实环境中的中文情感识别,采用CH-SIMS数据集,并利用此数据集验证本次研究所提出的情感识别模型有效性。在单模态情感识别模型上对语音、文本和表情识别最终准确率分别为74.70%、77.13%和87.81%,而在多模态情感识别模型上最高达到了93.92%。从而证明了多模态在情感识别上具有较大的优势。
其他文献
随着人口急剧增加以及工业快速发展,环境污染问题日益严峻,严重影响人类生活及健康。电催化及电化学传感领域的出现缓解了这一问题,然而,寻找催化效率高、绿色环保、成本低的催化剂是目前研究的难点。异质结纳米材料具有丰富的催化活性位点和低电阻,有利于电荷转移并改善电子结构产生缺陷,且赋予不同组分各自功能,目前广泛运用在电催化、生物传感等领域。本论文以低成本泡沫铜（Cu foam）为基材,构建高效的铜氧化物异
中国文学批评的发生发展，从“立言”之“不朽”所揭示立言为文的“文言”之语体形成，构成言与文相辅相成关系，以及文言文与白话文的分离，由此阐发言之文的文学语言功能作用；进而基于言意之辨与文笔之争拓展到言与体关系辨析，以有韵为文与无韵为笔的文体与笔体之辨，阐明文体之分在一定程度上构成文体语言的不同表达方式特点，不仅形成“因情立体，即体成势”的文章写作与文学创作之文势，而且形成文体语言丰富多彩的表现方式与
回环检测是机器人的同步定位和建图（Simultaneous Localization And Mapping,SLAM）过程中的关键环节之一,它的主要目的就是检查机器人有没有返回之前到过的区域,进而利用移动路径回环约束去除在定位和建图过程中的累积误差。根据机器人搭载传感器的不同,回环检测主要分为激光回环检测和视觉回环检测。相比于激光雷达信息,视觉信息更加丰富,但受光照、视角、动态物体等外界环境变化
鄂温克族萨满在我国无论是地理,宗教,政治还是文化上,都是我国研究民族学中不可或缺的一部分内容,有着举足轻重的作用,同时也扮演着非常重要的历史角色。其中萨满造型文化独特古老而又神秘的文化背景,丰富而又具有内涵的精神风貌,为我国的民族艺术研究提供了一片坚实的土壤。文章主要研究方法为查阅鄂温克萨满文化资料、相关文献、实地调研以及其他学科对本论文论点的不同阐述。研究过程中首先,详细分析鄂温克族三个部落的萨
当前,环境愈发恶劣,给人体健康和经济社会发展带来阻碍,空气过滤材料的开发与应用已成为当前研究热点。2019年底新型冠状病毒（COVID-19）的爆发,引起了全世界的高度关注,这种具有强致病性的病毒正在肆意危害我们的健康,感染COVID-19的人主要发生肺部病变,导致肺泡细胞严重受损,最终导致气体交换阻塞。佩戴口罩是被广泛采纳的有效策略,口罩的高需求量、功能化修饰成为近段时间的关注重点。基于上述研究
慢性伤口发病率高,病程长,且会给患者带来沉重的经济负担,是目前临床治疗的难点。近年来随着研发人员对慢性创面愈合研究的深入,新型多功能敷料材料的研发备受关注。在各类先进敷料材料中,静电纺纳米纤维因其具备比表面积高,孔隙率高,孔径尺寸小,细胞外基质（ECM）仿形好等优点成为新型敷料开发的热点。此外,水凝胶敷料材料也引起了科研人员的强烈兴趣,其具备优异的吸液能力,不仅可以为伤口愈合提供湿润的微环境,而且
钛酸锶（STO）作为钙钛矿结构的陶瓷材料,具有良好的电磁、压敏、热电、光催化和电催化等性能,是物理、化学和材料等领域的研究热点。随着静电纺丝和纳米技术突飞猛进的发展,柔性陶瓷材料逐渐被开发和利用。静电纺柔性陶瓷纳米纤维材料由于具有比表面积大、活性位点多、孔隙率高、有柔性和易于回收等特点引起了广泛的关注。目前已经有多种二元或三元的氧化物陶瓷被成功制备成柔性静电纺纳米纤维材料,并在阻燃隔热、过滤分离、
能控性问题是控制理论的基本问题,也是多智能体系统性能分析的核心问题,本文借助图理论及其划分工具、矩阵理论等基本理论,对于多种复杂场景下的多智能体系统的能控性从图论角度进行深入分析,得到了一些结合代数条件和图论条件优势的针对复杂场景下多智能体系统能控性判据。主要研究内容分以下部分:首先阐述多智能体系统能控性问题的研究背景和研究现状,总结了多智能体系统能控性研究的现有成就和方向,对涉及到的基本理论和符
目的:探讨神经肌电图在糖尿病周围神经病变诊断中的临床价值。方法:选取2019年12月—2021年2月深圳市龙华区中心医院收治的212例糖尿病患者作为研究对象,并根据受试者是否合并糖尿病周围神经病变（diabetic peripheral neuropathy,DPN）分为A组（合并DPN）98例,B组（不存在DPN）114例,两组对象均行神经肌电图诊断,借助统计学软件分析检测结果。结果:检测结果显
将思政元素融入到课堂教学中，是高校开展课程思政的重要途径之一。文章以C语言程序设计课程为例，将课程思政内容注入到教学案例设计中，挖掘思政元素、创新思政教学，激发学生学习C语言热情的同时，引导学生树立正确的价值观和理想信念，从而达到教书育人、立德树人的思政目标。此外，也为思政教育融入专业课课堂提供了新的策略。