基于迁移学习和混合神经网络的关系抽取模型研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:modlong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的应用场景不断丰富,海量的文本信息以爆炸般的趋势生成,这使得精准的知识获取变得越来越重要。关系抽取任务作为信息抽取中至关重要的步骤,为构建大规模的知识图谱提供了有力的支持。近年来,得益于机器学习技术,尤其是深度学习取得的长足发展,关系抽取模型的性能得到了显著提高。关系抽取模型主要采用卷积神经网络、循环神经网络作为句子编码器,然而,卷积神经网络很难学习到单词间的长距离依存关系,而循环神经网络由于无法并行运行,需要更多的训练时间。与此同时,大多数工作把关系抽取作为一个单独的任务来处理,忽视了相关任务之间的关联性,浪费了部分有效信息。本文针对以上问题进行了探索和研究,做出的贡献总结如下:(1)本文提出了一种新型的混合神经网络模型,结合了分段卷积神经网络和实体感知Transformer结构,使得模型可以在抽取句子内局部特征的同时,学习分词间的长距离依存特征。实体感知Transformer能够利用句子的词法和句法信息,并且生成特定实体的表示。基于句子中往往包含了大量与关系抽取无关的信息,本文使用了单词级别的注意力机制来降低噪声信息对模型性能的影响。使用模型在大规模数据集上进行实验,结果表明,混合神经网络模型取得了0.417的AUC分数,领先于基线系统。(2)对于混合模型中的Transformer结构,本文利用了从相关任务中学习到的先验知识,通过基于迁移学习的策略对其进行初始化,以增强模型的鲁棒性。由于实体的类型可以给实体间关系的确定进行有效的限制,所以合理使用实体分类任务的结果可以进一步提高关系抽取模型的精度。本文用实体分类任务训练实体感知Transformer,并保留训练得到的模型参数,作为之后在关系抽取任务中的初始化参数。在数据集上的实验结果表明,迁移学习策略可以将AUC分数进一步提高到0.432。
其他文献
在大数据时代,随着数据量的迅猛增长和数据驱动型决策的应用,大规模分析查询变得越来越重要,但在海量数据上计算精确的查询结果代价非常昂贵。近似查询处理(Approximate Query Processing,简称AQP)是一种为SQL查询快速提供近似回答的技术,它通过降低精确度以换取更快的响应速度。在基于在线采样的AQP技术中,蓄水池和Bernoulli等随机采样方法被广泛应用,但它们通常适用于分布
近年来,由于人口的增长、城市化的进程和经济的发展,使得厨余垃圾的处理与资源化利用问题日益突出。本研究以调查结果为根据,选择合适的微生物菌种和蓬松剂,提出一种具备粉碎和通气功能的密封堆肥桶的方案;通过微生物菌剂复配和蓬松剂的组合,进行厨余垃圾好氧堆肥的效果分析;将综合效果最好的堆肥成品用于植物栽培实验,验证堆肥对植物和土壤的影响。得到以下结论:(1)加入复配菌剂能提高厨余垃圾好氧堆肥中堆体的温度,分
黄曲霉毒素B1(Aflatoxin B1,AFB1)是目前发现毒性最强的真菌毒素,具有极强的致癌性、致畸性、肾毒性及肝毒性。广泛存在于花生、玉米、谷类等农产品和食品中,是引起食品安全事故的重要因素。利用微生物聚生体对黄曲霉毒素进行降解具有环保、高效、无毒害,降解效果更为稳定等优点,进而可以减少并控制黄曲霉毒素的危害,是解决黄曲霉毒素污染的有效途径及研究热点。目前,国内外对微生物降解AFB1的作用已
结直肠癌(colorectal cancer,CRC)是全球第三大常见的恶性肿瘤,并且是癌症死亡的第二大原因,扩散后5年生存率仅为13%。化疗是结直肠癌治疗的标准方案,但耐药特别是多药耐药(multidrug resistance,MDR)已经成为临床治疗CRC的一大障碍,有近90%的患者在治疗过程中出现了一定程度的MDR,这使得临床治疗无法取得预期的效果,从而引起肿瘤的复发和转移,并最终死于癌症
随着人们对水果需求的增加,水果种植业得到发展,而整个种植过程中果树采收作业耗时、耗力、劳动强度大,加之农村劳动力短缺,使得采用农业机器人自动化采收水果是一种发展趋势。针对目前采摘机器人机械臂构型众多,缺少工作适应性评价指标的问题,本文提出评价不同构型机械臂采摘不同树形水果方便程度的指标。首先,根据果树收获阶段的生长规律及特点,描述收获阶段果树的一般结构,引入参数和方程,建立了果树的数学模型;并借助
为了更好地理解自然界中各种复杂的非线性物理现象,非线性系统进入了科学家的视野,非线性系统的求解是非线性科学的一个重要研究内容。人们已经从不同角度出发,建立了不少求解非线性系统的方法。多线性分离变量法(MLVSA)是其中一种非常有效的求解方法,它在低维系统的求解中发挥了很大作用,但是在高维情况下的应用较少。因此,本文主要借助符号计算软件平台Maple和Mathematica,研究MLVSA在3+1维
活性氧(ROS)是生化过程中涉及电子传递的一类代谢产物,参与体内各种生理和病理过程。在生理条件下,抗氧化防御机制(包括酶促抗氧化剂和非酶分子)可以使细胞内ROS含量处于低浓度的动态平衡。其中,酶促抗氧化剂主要包括:过氧化物酶(POD)、超氧化物歧化酶(SOD)、过氧化氢酶(CAT)、谷胱甘肽过氧化物酶(GPx)等。非酶分子主要有还原型谷胱甘肽等小分子。在中、低水平,ROS具有有益的作用,参与防御病
数据库验证场景是一类经典数据服务场景,其通过对数据库中的用户隐私数据进行验证,以完成信息确认、条件审核等证明任务。该场景以便捷性优势逐渐取代纸质保存、人工审查的传统验证场景,但由第三方数据库存储所带来的隐私泄露事件频发。为解决上述问题,研究者们提出一系列隐私保护新技术,使隐私数据能够在加密状态下支持特定声明类型(如成员证明、范围证明等)的零知识证明,然而支持通用声明类型的相关技术研究,目前仍处于空
近年来,纳米孔传感技术发展迅速,灵敏度不断提高,功能化方法也越来越多样化。纳米孔传感技术可以对多种分析物进行无标记单分子测量,包括DNA、RNA、蛋白质复合物等,生物技术应用取得长足进展。但是,基于离子流变化的纳米孔检测方法仍然受到一定的限制。之前报道的大多数方法都是基于分析物介导离子流波动,容易受到非特异性吸附的干扰。因此如何矫正伪信号,提高检测方法的选择性与准确性成为本文的研究重点。为了解决上
腐乳是具有我国传统特色的大豆发酵制品的主要种类之一,深受消费者喜爱。腐乳的生产和贮藏过程中,易生成生物胺。生物胺是一种含氮化合物,具有毒理效应,高剂量摄取会损害身体健康甚至危害生命。近年来,随着消费者健康意识的增强,腐乳的质量安全问题越来越成为人们关注的重点。然而,由于贮藏和运输中冷链系统不完备,极易为微生物繁殖和生物胺生成提供条件,造成腐乳腐败变质,产品品质不稳定,货架期参差不齐。因此本文为探索