基于注意力机制和Bi-LSTM的关系抽取研究

来源 :新疆大学 | 被引量 : 0次 | 上传用户:caciquer1977
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实体关系抽取作为自然语言处理的一个重要技术,其主要任务在于从非结构化的文本数据中抽取实体间存在的语义关系。此技术在语义理解、机器翻译、问答系统、推荐系统等方面得到广泛应用,同时也是信息抽取任务中的关键组成部分。传统关系抽取方式大多基于浅层的机器学习方法,以人工设计特征的选择方式抽取实体关系,但这些方法具有耗时长、特征选取困难、人工成本高等弊端,在当今拥有庞大数据集环境下已不再适用。近些年来,基于深度学习的关系抽取方法能够借助神经网络,从海量数据中自动抽取关系特征,在模型中不断的学习,避免人工设计特征的缺陷,所以深度学习方法在关系抽取中取得广泛的应用。自然语言的表达依据词汇按照特定的顺序排列实现,因此利用循环神经网络(RNN)进行文本编码比使用卷积神经网络(CNN)更加贴切的复原自然语言中单词与单词之间的相互关系。长短时记忆网络(LSTM)模型是RNN的一种变体,可以有效利用序列数据当中长距离依赖信息的能力。现有的实体关系抽取模型忽视了实体与上下文间的交互信息,无法获取远距离上下文相关信息对关系抽取的影响。本文结合Bi-LSTM和注意力机制对实体关系抽取方法进行研究,提出基于注意力机制和Bi-LSTM的关系抽取模型,本文的主要工作包括以下几方面:(1)以双向长短时记忆网络和自注意力机制为基础,在双向长短时记忆网络前引入自注意力机制,可以对句子中内部元素进行注意力计算,学习句子内部词间的依赖关系,捕获单词之间的潜在相关联系,有效避免了实体关系获取中长距离信息丢失的缺点。(2)为了充分利用实体词距离信息,采用带有位置特征的注意力机制。使用融合位置特征的注意力机制提供了每个单词和实体之间的重要空间信息,能够评价关系获取中每个词在整个序列的相对贡献,这种评价不仅包含语义信息还包含实体的位置信息。本文针对集合Bi-LSTM和注意力机制的实体关系抽取模型进行了相关实验。实验结果表明本文提出的关系抽取方法相对于基线方法更有优势,在Sem Eval-2010 Task 8数据集上取得了84.64%的F1值。本文将自注意力机制和位置特征的注意力机制相结合,提高了实体关系抽取的准确率。
其他文献
目前科学家普遍认为,太阳黑子中存在的周期性振荡现象与黑子的磁场结构和太阳发热原理有着密切关系。然而由于黑子振荡在不同的空间位置,不同的太阳大气层,乃至某个特别的黑子中都会表现出不同的特性。同时,黑子观测信号中存在大量的白噪声和红噪声,使得观测信号的整体信噪比较低。这一系列客观因素增加了研究黑子振荡中频率成分的难度。时频表征是研究信号中频率成分的重要工具。目前为止,应用于黑子振荡的时频分析方法主要有
恶臭污染是一种严重的空气污染,不仅影响着人们的生产生活,还对人类的健康造成威胁。恶臭检测是环境治理与防护的重要依据,但市场上的恶臭检测仪器存在着检测精度低、价格昂
弄清火驱中焦炭燃烧机理对火驱技术的发展至关重要。本文通过室内实验,研究火驱开发过程中原油生成的两种不同类型焦炭物质成分、反应特性,明确油品组分、压力、氧气浓度和升
本文根据目前国内各道路客运企业关于定制客运模式发展的战略思路,学习并借鉴中外学者的成熟研究成果,结合WH集团对定制客运模式管理的情况,以理论基础为依据,以实际情况出发,探究WH集团目前所面临的形势。通过对传统客运企业管理模式的分析,并对定制客运的概念,以及管理方式进行学习,基于“互联网+”的理念,对WH集团定制客运模式管理进行研究,分别从平台建设、网约车、在线租车、定制班线等业务板块进行分析,阐述
2017年教育部颁布的《普通高中思想政治课程标准》明确指出把普通高中思想政治课建设成以培育学生学科核心素养为主的活动型学科课程。议题式教学作为一种契合新教学改革的教学方式,注重培育学生学科核心素养和专业技能,成为思想政治教学领域学者研究的热门话题。议题式教学不仅顺应我国普通高中思想政治课程教育教学方法改革方针和针对目前面临问题的重要理论,更具有创新性的教学方式。以议题为纽带,以情境为载体,以活动为
热电材料作为一种新型的能源材料,能够不依靠其他的介质实现热能和电能的相互转化,可以将热能直接转化为电能而备受关注。本文基于第一性原理和半经典玻尔兹曼输运理论,系统
4G通信技术的成熟推动了移动互联网时代的到来,这拉动了新一轮的通信市场的快速发展。目前的三家电信运营商,在经营的业务种类方面几乎一致。市场竞争也开始从异质竞争转向同质竞争。在这种竞争环境下,客户质量较高的集团客户市场就成为三家运营商必争之地。在2018年12月召开的中国移动客户市场工作电话会议上,董事长尚冰指出集团公司要进一步深化“大连接”发展战略的实施,深化以个人客户市场、家庭客户市场、集团客户
为研究水岩作用下灰岩溶解机理以及表面形貌演化规律,本文以水布垭库区灰岩为研究对象,在不同水岩作用时间进行岩样三维表面形貌扫描试验、溶液离子浓度检测及水文地球化学模拟。主要研究内容和研究结果如下:(1)开展水岩作用下矿物溶解—沉淀试验,选取盐酸溶液(0.01、0.03、0.05mol/L)、硫酸溶液(0.002、0.004、0.008mol/L)、氯化钾溶液(0.01、0.03、0.05mol/L)
电动汽车的发展要求锂离子电池具有更高的能量密度和高功率充放电性能,优化电极层结构可以实现电池能量特性和功率特性的权衡,但产业界仍以试错为主要设计方法,时间长且成本