基于深度学习的实体与关系联合提取方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:holight123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实体与关系提取作为信息抽取领域的重要研究课题之一,其主要任务是从非结构文本中抽取出命名实体并判断其类型,以及识别一对命名实体是否存在联系并判断其关联类型。高精度实体与关系提取模型的构建,既是知识图谱、智能搜索、自动问答等自然语言应用的基础,同时也能为金融、医疗、电商等垂直领域做出贡献。随着数据时代的迅猛发展与网络信息的飞速扩张,人们对海量数据的信息抽取有了更为迫切的需求,不同于较难作用于大量文本数据的传统机器学习方法,深度学习因其强大的特征表达与参数学习能力更利于实体与关系提取模型构建,已经成为现今的研究热点。本文对基于深度学习的实体与关系联合提取模型展开研究,通过分析现有模型的不足,有针对性地构建出表达能力强、提取精度高的联合提取模型,主要工作包括以下几个方面:1)整理现有的实体与关系提取模型,完成单实体、单关系以及联合抽取模型的研究现状总结与分析,指出现有模型的缺陷与不足。2)针对现有评价指标的不统一性与不明确性,对其定义进行完善,并概括出三类评价指标,更便于对模型性能进行评估与衡量。3)针对模型结构的缺陷,实现多头选择联合提取基础模型,通过参数共享编码层实现实体与关系子任务间的依赖,并对关系子模型的标注策略进行了改进,使得模型能够同时进行实体与关系的抽取,从而降低子任务间累积误差带来的影响;针对基础模型中文本表征与梯度回传的缺陷,提出一种基于语言模型嵌入(Embeddings from Language Models,ELMo)的残差多头选择联合提取模型,使用ELMo动态嵌入来降低多义词与未登录词带来的影响,并利用高速路网络与残差网络、梯度裁剪优化算法解决梯度消失与梯度爆炸问题;通过实验仿真对其性能进行了验证。4)针对编码层与关系抽取特征表达的缺陷,提出一种基于改进子句的多头自注意力联合提取模型,在编码层增添多头自注意力机制,既完成句子内部结构特征的抽取,又实现不同子空间信息的构建;在关系得分层将两种子句信息分别与实体对信息结合,提升实体对间关系特征表达能力;通过实验仿真对其性能进行了验证。
其他文献
<正>地方史是一个国家历史的重要组成部分。我国是个幅员辽阔、民族众多的国家。国内各地区,地理、气候条件、自然资源有明显差异,风俗习惯、语言和社会生产力的发展水平也不
[目的]观察补肾活血汤治疗腰椎间盘突出症疗效。[方法]对45例住院患者使用补肾活血汤(山茱萸、当归各20g,红花、桃仁各15g,菟丝子、川芎、延胡索、枸杞子各20g,杜仲15g,牛膝2
一前言旧石器考古是19世纪中叶在欧洲兴起的一门学科。经过几代旧石器考古学家的努力,到20世纪中叶建立起比较完善的旧石器文化分期序列。它以欧洲冰期一间冰期地层和共生哺
《简·爱》的魅力首先在于它从作者其实生活中得来的真。夏洛蒂·勃朗特真实的生活经历赋予了她的小说以本质意义,使她的小说产生了经久不衰的艺术魅力。其次,夏洛蒂·勃朗特为
提出一种融合高斯过程回归(GPR)的无模型容积卡尔曼滤波(MF-CKF)方法.容积卡尔曼滤波(CKF)是一种新的非线性高斯滤波方法,比无迹卡尔曼滤波(UKF)更具优势.为了克服建模不准确
朱天文是华语文坛上最优秀然而也是最难解读的小说家之一。从都市书写、身体书写与语言书写三个方面深入探讨,由此发现其一以贯之的后现代抵抗姿态。朱天文书写的台北是都市
通过对公司治理、信息披露质量与知情交易之间关系的检验,发现股权集中导致的协同效应及壕沟效应同时存在,董事会规模及独立性对信息披露质量及知情交易的影响不明显,高管货
有机磷农药中毒是基层医院急诊常见的急症,病情危重多变,病死率高,及时有效的治疗与护理是抢救成功的关键。病人早期出现呼吸道大量分泌物,肺部布满湿性哕音,出现肺水肿,气体交换不
功能语法中小句的及物性系统可以用来表现语言使用者对主客观世界的认识和反映。本文作者通过对文本小句及物性系统的各个过程及其参与成分的分析,描述以失衡的方式突出的语言
论述了精准农业的发展现状及意义,探讨了我国精准农业的发展步骤和研究应用重点.