基于推理性常识注入的对话情绪识别图网络模型研究

来源 :汕头大学 | 被引量 : 0次 | 上传用户:chenyun120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对话情绪识别(Emotion Recognition in Conversation,ERC)任务旨在识别对话中每一句话语的潜在情绪。这项任务作为自然语言处理(Natural Language Processing,NLP)的新兴研究方向,正受到越来越多研究者的关注,在诸如社交媒体中的意见挖掘、基于心理分析工具的医疗保健系统以及具备情绪感知能力的对话机器人等应用领域有着广泛而重要的作用。虽然ERC任务取得诸多成果,但是识别对话中每句话的情绪时依然面临着诸多待解决的问题,主要有:1)当前模型在获取语句向量表示时,仅局限关注句内上下文信息,而忽略了对话全局上下文信息;2)对话中的上下文信息内容复杂,机器从中提取的有效信息是有限的,上下文建模工作存在一定难度。针对上述难点,本文的主要工作如下:(1)现有ERC任务研究在提取句子向量时,仅局限关注于句内的上下文信息,这使得句子向量和后续的上下文建模工作存在着语义鸿沟,加大了模型理解对话内容的难度,主要原因是上下文建模是对话全局上下文敏感的,而句子向量却做不到这点。因此,本文提出了一种对话全局上下文敏感的双层模型用于提取句子向量。其中,低层模型是BERT(Bidirectional Encoder Representation from Transformers,BERT),用于提取具有对话上下文无关性的句子向量。高层模型是Transformer,通过注意力机制将每个句子在所属对话中所传达的语义信息进行融合,使得对话中的所有句子向量都包含对话全局上下文信息。(2)现有ERC任务的部分研究依靠引入外部常识知识来辅助上下文信息建模,为模型提供了原本无法从对话内容中学习到的外部知识,取得了不错的效果。然而,普通的常识知识提供的信息也仍然是有限的,模型难以在大量外部知识中快速有效地获取到对情绪预测有用的知识。考虑到现实生活人们以第三者角度分析对话时,会根据对话内容并结合常识做出相应的推理,这些推理性常识知识能够有效地帮助人们理解对话。基于这个想法,本文提出了基于推理性常识注入的图注意网络模型用于ERC任务的上下文信息建模工作。其中,利用Commonsense Transformers(COMET)常识知识生成模型生成了7种推理关系的推理性常识,并将其注入到上下文信息建模工作中,旨在利用推理性常识帮助模型预测语句的潜在情绪。此外,图注意网络模型具有社交性网络结构的特点,适合模拟对话形式的互动关系,强大的信息汇聚能力使其对捕获对话上下文信息起着重要作用。因此,本文选用图注意网络作为上下文信息建模工作的基础模型。最后,本文将以上两个模型进行有机结合共同组成解决ERC任务的对话情绪识别模型,并在两个公开对话数据集上验证了模型的有效性,取得了有竞争力的结果。在MELD数据集上,f1分数值达到了64.8%,与当前ERC任务现有方法相比,具有一定的竞争性。而在Emory NLP数据集上,f1分数值则达到了39.4%,优于当前ERC任务现有方法。
其他文献
经济高速发展致使不可再生资源消耗量不断增大,对能源本身和外在环境造成的危害引起人们的广泛重视,发展清洁可再生能源来降低原有能源利用率成为保护环境、节能减排、实现人类社会高质量、可持续发展的核心要义,而风能凭借其经济效益高且清洁可再生的特性迅速成为能源界的关注焦点.但风力发电容易受到多种因素的影响,出现非线性和随机波动性,如果将大规模的风力发电机直接并入电网运行将会给电力系统的调度和稳定性带来极大影
学位
时代交替,日月更迭,人工智能、大数据以及机器学习中的各类算法的应用已逐渐深入各行各业,在农业领域、军事领域、制造业领域、化工领域等都各有体现,尤其是在工业领域的应用更为显著,例如机器视觉检测可以应用于手机制造商的外壳完整度检查,或是流水线上物体定位识别分类,以及工业设备的故障诊断等,大机器时代就需要通过人工智能来提高作业效率。本文所研究的主体为轴承设备,轴承作为现代大机器设备中十分重要的一个零部件
学位
随着比特币等数字货币的蓬勃发展,区块链技术作为其核心机制具有去中心化、可靠性、数据不可篡改、交易匿名性和开源可编程等特点,逐渐在金融、物联网、身份认证和数据共享等诸多领域得到研究和应用。然而,区块链的基础理论和技术研究尚处于初级阶段,在诸如安全、效率、资源、博弈等方面仍存在问题需要进行深入研究。区块链的安全问题包括数据安全、共识安全、隐私安全等方面,是影响整个体系架构可靠性的根本问题。本文主要研究
学位
机器学习和深度学习等算法被广泛应用于各个领域,将算法与医学领域结合在现实中会极大帮助病人数据的研究.改进药物作用机制预测算法有利于更准确地进行药物作用机制定位,从而大大减少医生工作量,促进药物研发.本文对哈佛大学提供的病人的一些基因和细胞的特征以及206种药物作用机制进行了一些描述性统计分析,探索变量之间的相关性.本文使用主成分分析对特征进行了线性组合,提取出关键的互不相关的特征,与此同时去除掉低
学位
钢管混凝土柱由于受压力学性能良好、施工方便,已经在土木工程结构中大量使用.耐腐蚀及耐火性能较差,轴压时钢管易向外局部屈曲是其主要不足.ECC(Engineered Cementitious Composite)是一种具有多裂缝开展和应变硬化特征的纤维增强水泥基复合材料,具有延性好、韧性高、耐久性好等优点.用带纤维编织网增强ECC层来加固钢管混凝土结构,可克服上述不足(耐火性能不足、钢管易屈曲),同
期刊
随着中国城市化速度越来越快,智能交通系统作为物联网、人工智能、大数据等技术在交通领域的重要应用,也逐渐成为缓解城市交通拥塞、提升出行效率的重要手段。准确高效的短时交通流的预测在智能交通系统的构建中扮演着关键的角色。由于交通流容易受到许多因素,如天气、道路情况等影响,数据往往呈现出相当的随机性和不确定性。如何高效、稳定、精确地进行短时交通流的预测仍然是一项具有挑战性的工作。交通流模型预测精度的提升受
学位
现代社会中,随着经济的增长,电力需求也逐步加大,从而需要不断完善销售环节当中的差别电价,实现电力的中长期交易,鼓励电力用户、售电用户和发电企业通过集中竞价来协调市场化运作方式。由于写字楼的用电规模很大,如果按规则参与电力市场交易,需要有效的电量预测来进行用电需求申报。当写字楼申报的用电需求与实际用电偏差在2%范围内,那么不必承担偏差费用,否则,则需要按照规定的补偿单价进行缴纳电费。因此,针对该问题
学位
电影市场的发展愈来愈壮大,电影信息过载是人们面对挑选电影时的一种困扰。近年来对于电影推荐的研究正在逐步推进。协同过滤电影推荐过于依赖用户历史数据,存在数据稀疏和冷启动问题。基于内容的推荐不能对新用户适用,且电影特征需要大量人工标注,且难以挖掘用户的新兴趣点。基于知识图谱的推荐难点为针对不同的场景,难以界定如何构建一个好的知识网络。基于人口统计学的电影推荐存在泄露用户隐私的风险,且推荐的粒度过度不能
学位
报纸
在三维Dirac半金属中,导带和价带在k空间中的Dirac点处相互接触,其周围具有线性且依赖于k的能量色散关系,这种不寻常的能带结构导致该点附近费米能级周围的电子表现出相对论性粒子的性质。而且Dirac半金属所具有的高磁阻率,高迁移率等优秀的性质也使得其在实际生产应用中有着重要意义。本文利用基于密度泛函理论的从头计算方法,预测了一个可能的Dirac半金属Sr Ag Bi,并对计算得到的电子结构构建
学位