【摘 要】
:
关系抽取旨在从非结构化的文本数据中提取出特定实体间的语义关系,是知识图谱构建、智能问答、个性化推荐等领域的核心技术。在封闭域关系抽取中,关系触发词作为能够清晰判断给定关系类型的上下文语境词,一直没有得到充分利用,这主要是由于人工标注成本高和没有切实可行的自动标注方法等原因造成。针对上述问题,提出一种可用于自举法的融合触发词注意力机制的关系抽取模型RETA。首先,在构造输入序列中,为防止实体重叠嵌入
【基金项目】
:
国家自然科学基金(71771111);
论文部分内容阅读
关系抽取旨在从非结构化的文本数据中提取出特定实体间的语义关系,是知识图谱构建、智能问答、个性化推荐等领域的核心技术。在封闭域关系抽取中,关系触发词作为能够清晰判断给定关系类型的上下文语境词,一直没有得到充分利用,这主要是由于人工标注成本高和没有切实可行的自动标注方法等原因造成。针对上述问题,提出一种可用于自举法的融合触发词注意力机制的关系抽取模型RETA。首先,在构造输入序列中,为防止实体重叠嵌入,使用ARG标识代替句子中的头、尾实体词项,再将头尾实体拼接至输入序列尾部,以实体感知的方式对句子进行编码,进而构造上下文向量矩阵;然后,使用BERT模型生成文本向量,将其输入MLP全链接神经网络以增强文本表示,借助注意力机制将文本表示通过softmax函数进行归一化计算,得到关系触发词开始和结束位置的概率分布;其次,融合触发词的注意力到关系预测当中,使用触发词头尾的权重向量计算权重总和,得到最终的特征向量表示,实现融合触发词注意力特征的文本内容建模;最后,采用多任务学习的方式优化模型,使用交叉熵损失作为每一个任务的损失函数,并利用触发词的预测概率建模置信度来调节损失函数的权重,从而实现整体的优化。在篇章级DialogRE数据集中F1值较基准模型BERT、BERTs、CNNRE、BiLSTM和LSTM分别有3.5%、1.9%、14.4%、15.0%和13.8%的提升;在句子级数据集SemEval 2010 task 8和Re-TACRED上F1值较基准模型CNNRE、BiLSTM、DepPath和BERT均有不同程度提升,最高达13.4%。在DialogRE数据集上仅通过2个epoch训练,F1值既可超过55%;在Re-TACRED数据集上通过6个epoch训练,F1值既可达到45%。实验表明,融合触发词注意力机制的关系抽取模型RETA有着更好的抽取性能,训练效率高,进而证实关系触发因素在引导模型学习中起着至关重要的作用。论文有图21幅,表16个,参考文献55篇。
其他文献
进入高校学生自主择业时代,就业问题成为了高校管理与发展所面临的一大难题。为了有效缓解高校就业压力,提高高校毕业生一次性签约率,减少就业市场的人力招聘成本,本文提出了高校毕业生就业档案及其管理方法,并阐释档案在毕业生、就业市场与高校之间的灵活衔接作用,为拓展高校档案馆职能,提升高校内外档案观提供理论借鉴。
农村基层治理人才在提升农村治理能力现代化、夯实中国式现代化的农业农村基础中都起到至关重要的作用。目前农村基层治理人才发展还面临着人才引进难度大、人才资源开发渠道单一、人才体系建设欠缺、人才自我成长的机会缺失等困境。基于此提出优化策略,即坚持乡村建设行动,改善农村就业环境;结合地方发展特色,扩宽人才资源开发渠道;优化岗位配置,完善收入分配机制;加大人才培养力度,促进人才规模持续成长。
MQ公司是一家从事CAE计算机软件技术开发和销售的高科技企业,公司总部位于韩国,2002年进入中国开拓市场,其产品主要用于土木领域各类建筑设计的结构仿真计算分析。公司见证了中国土木行业黄金发展的阶段,也享受到了中国快速发展所带来的红利,与此同时国际上的CAE软件巨头不断对中国市场加大资金投入,行业竞争加剧,而国内自主研发的CAE软件公司也奋起直追,占领了一些市场;MQ公司的经营业绩出现了较大幅度的
本文针对厚风化煤层区域内回采巷道支护技术进行研究。风化煤是长期经受大气、阳光、雨雪、地下水以及矿物质侵蚀等综合作用的产物。本文通过无损检测的手段对风化煤回采巷道支护进行研究。通过对小鱼沟煤矿605采面地质条件现场调查分析,了解到小鱼沟煤矿605采面顺槽发生冒顶,冒顶位置位于风化煤区域内。由于风化煤与普通围岩相比,强度低易软化,采用以往的支护方案不可行,易发生冒顶事故。对锚杆锚索的检测一般有两种:有
早在2005年,联合国就提出了“普惠金融”的概念,旨在为有金融服务需求的社会弱势群体提供金融服务。近年来,我国也加大了推进普惠金融的发展力度,目的就是为了能够让金融更好的为实体经济服务,从而促进我国经济可持续发展。农商行作为地方性农村金融机构,有着天然的优势,服务“微、小”不仅是其主要业务和利润来源,更是响应国家政策号召以及必须承担的社会责任。2008年,作为我国第一批改制的农村金融机构,并且处于
准噶尔盆地南缘(准南)中侏罗统西山窑组煤层气资源丰富,开发前景广阔,聚焦该区低煤阶含煤岩系的储层物性特征及煤层气富集模式研究对推进新疆地区非常规能源稳步发展意义重大。本文以准南中段西山窑组煤系为研究对象,利用层序地层学、煤岩学、煤田地质学、沉积学及煤层气地质学等理论知识,结合一系列实验测试和分析方法,对准噶尔盆地南缘中侏罗统西山窑组煤系物性特征与煤层气富集模式进行了研究,并取得了如下认识。准南中段
大同能源馆作为2019年竣工的集光伏发电、储能、直流配电、柔性用电于一体的“光储直柔”建筑,其设计理念兼具创新性与实用性。通过重点解析该建筑中储能技术的应用及柔性配电技术应用,为“光储直柔”建筑设计及实践提供思路。
快节奏的城市生活使得居民对配送时效的要求更加严格,但是复杂的城市交通路网对物流企业满足客户及时需求,提供准时、高效的服务增添难度。城市物流有着活动范围小、配送周期短、配送订单数量少、需求不确定的动态特征,这些特征也导致城市物流更容易被交通拥堵和客户订单的不确定因素影响。如何在动态变化的城市交通路网下为居民提供更快更准确的配送服务,及时满足客户的物流服务需求,减少配送时间,合理规划配送车辆的行驶路径
社区型商业是一种以社区居民为服务对象,以便民、利民,满足和促进居民综合消费为目标的属地型商业,多分布在居民住宅周边。从商业类型划分的角度来看,社区型商业是“持有型物业”大类或“商业物业”大类的一种形态。作为投资标的,它是指投资人长期持有经营性物业,通过商业运营获取租金回报和物业增值回报的投资商铺。社区型商业投资的过程中,从资产的评估定价到投后管理,从商业的定位策划到租赁政策的制定,从招商管理到运营
任何企业想要获得持续长远的发展,就必须努力维持能给他们带来利润的优质核心客户。而在实际操作中,快速、高效地处理客户投诉,不断挖掘客户的关系并持续改善,提升客户满意度,一次不断提高企业的市场竞争力,为企业创造出更多经济效益,最终使企业实现可持续发展的目标。特别是在高科技领域,早期有些高科技公司凭着技术上的优势对客户的售后服务方面的投入和重视程度都很低,销售额几乎不受影响。随着不断地有竞争企业的崛起,