基于预训练模型的中文短文本实体链接研究与实现

来源 :江南大学 | 被引量 : 0次 | 上传用户:ieuieuieu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实体链接(Entity Linking,EL)是自然语言处理领域中的一项基础任务,旨在将文本中的实体与知识库中的实体进行匹配和链接,进而为自然语言文本提供更深入的语义理解。实体链接通常包含三个步骤:命名实体识别、候选实体生成和候选实体排序,后两个步骤是实体链接的关键。近几年随着深度学习技术的发展,实体链接在长文本语境依托丰富的上下文信息和明确的主题信息已经取得较高的链接精度,然而在中文短文本领域受限于上下文缺失、表达不规范以及语言本身的特点仍然面临巨大挑战。对于候选实体生成,目前基于Bi-Encoder的方法主要利用两个独立编码器分别将实体指称项以及知识库所有实体映射到语义空间,并利用最大化点积相似度的方式检索候选实体,然而并没有显式考虑实体描述信息与短文本在输入表示过程中的差异和生成向量在向量空间中的分布差异。对于候选实体排序,主流方法利用BERT从文本匹配角度挖掘文本对的语义关系,但存在BERT参数量大所带来的效率问题以及对实体描述信息的简单处理所带来的信息损失问题。针对以上问题,本文围绕如何改进实体链接两阶段方法的效果和效率展开研究,主要研究内容和创新点如下:(1)提出了基于Sia BERT-CG模型进行稠密向量检索的候选实体生成方法,该算法利用共享参数的孪生BERT模型减少短文本与实体信息的表示差异以及在向量空间中的分布差异,获得在向量空间中更适合检索的分布,提高实体检索的效果。同时,本文提出一种类型感知负采样策略,使负例与正例之间具有均衡的类别和语义相似度,增大模型的训练难度,提高模型对具有歧义的样本的区分能力。(2)提出了基于ALBERT潜在主题聚类的候选实体排序方法,引入ALBERT模型来进行短文本的候选实体排序,捕获实体指称项与候选实体间的匹配模式,克服BERT模型复杂且参数量巨大的问题。同时设计了潜在主题聚类的实体描述信息拆分方法,能够让短文本与实体描述信息充分交互的同时减少因文本拆分带来的冗余,提升候选实体排序模型的匹配精度。(3)设计并实现了一个中文实体链接系统,在实际应用场景验证了本文提出的方法的有效性和实用性。该系统主要包含Web交互模块、离线处理模块和在线处理模块,能够实现对文本和文本文件的实体识别、候选实体生成、实体链接功能和API访问与用户注册登录场景。最后,综合分析系统的所有测试结果,验证了该实体链接系统具有出色的功能性和实用性。综上所述,本文在中文短文本实体链接领域,针对实体链接方法的两个阶段中存在的问题,引入新的模型结构、优化模型的训练和预测策略,提升了模型的效果和实际应用能力。通过详尽的实验验证与应用场景测试,证实了本文提出方法是可行且有效的。
其他文献
目的探讨联合应用AD8和简易智力状态评估量表(Mini-Cog)在军队体检人群筛查认知功能障碍的特异性和敏感性。方法纳入我院常规健康体检军队人群1723例,对自愿接受认知功能测评者行AD8量表和Mini-Cog测评,最终同时接受AD8量表和Mini-Cog检测的体检者160例。采用ROC曲线分析量表评估的敏感性、特异性,计算ROC曲线下面积(AUC)。结果 AD8量表和Mini-Cog测评提示认知
期刊
[目的]气候变暖将改变农业热量资源的时空分布,对黄河流域农业热量指标进行分析,可为区域合理利用农业气候资源提供依据。[方法]基于1960-2020年黄河流域89个气象站点逐日气象资料,运用线性趋势估计和MannKendall突变检验等方法分析了黄河流域年平均气温,≥0℃和≥10℃的初终日、持续日数和有效积温的时空变化特征及其影响因素。[结果]近61 a黄河流域平均气温、≥0℃和≥10℃有效积温分别
期刊
端到端实体关系抽取任务可以被分解成命名实体识别和关系抽取两个子任务,最近的工作多将这两个子任务联合建模。现有的流水线方法验证了在关系模型中融合实体类型信息的重要性和管道模型的潜力,但是它们忽略了文本中的某些实体可能同时具有多个类型,这种多义性的情况在中文数据集中尤为常见。为解决上述问题该文提出了一种实体级联类型机制,并在此基础上开发了一个更适合中文关系抽取的管道模型,取名为CENTRELINE。这
期刊
理解生物多样性对生态系统功能及稳定性的影响对于制定有效的保护管理策略有重要意义。然而,目前生物多样性与群落生产力、稳定性的关系仍存在争议。本研究在鄱阳湖湿地布设30个采样点,于2019年秋季开展大型底栖无脊椎动物群落野外调查。基于底栖动物群落数据,采用广义加性模型分析物种、谱系、功能多样性对鄱阳湖湿地底栖动物群落次级生产力与稳定性的影响。结果表明:底栖动物群落的次级生产力与反映物种多样性的指数(S
期刊
土地利用和水环境因子是影响湖泊生态系统的关键因素,探究大型底栖动物次级生产力受环境因子的作用机制,可揭示底栖动物栖息地的生态系统与外源环境的关系。为了解土地利用和水环境因子对大型底栖动物次级生产力的影响,2020年对连环湖13个主要湖泊的土地利用类型及6、8和10月的大型底栖动物、水环境因子进行调查,共采集到大型底栖动物75种,隶属于3门32科56属,其中优势种属及重要种属以摇蚊幼虫和腹足纲为主,
期刊
阐述天线馈线不同接地方式对短波通信系统通信质量的影响,非气密环境下的环境适应性设计,探讨可提高空用短波通信系统工作稳定性的措施。
期刊
电池包作为电动汽车的核心部件之一,对电动汽车的整车性能有着关键性的影响。而在电动汽车的运行过程中,电池包会不断受到来自路面的持续性冲击力,造成电池包的疲劳损坏,对驾驶员和乘客的安全以及整车性能造成一定的影响。本文以电动汽车电池包为研究对象,建立了电池包随机振动试验方法与疲劳寿命的计算方法。先对振动台、工装夹具和电池包进行扫频分析,得到振动台台面、夹具空载端板、电池包与工装夹具连接端板处的加速度传感
期刊
报纸
目的探讨透明压膜保持器联合片段弓近中牵引上颌第三磨牙代替缺损第二磨牙的正畸治疗效果。方法选取2014年7月至2020年8月我院收治的40例上颌第二磨牙缺损且上颌第三磨牙健全的成年患者,随机将其分成两组,A组患者采用透明压膜保持器联合片段弓矫治技术近中牵引上颌第三磨牙代替缺损第二磨牙B组患者采用传统上半口正畸矫治方式近中牵引第三磨牙。结果两组患者上颌第三磨牙均成功近中牵引到位,平均矫治周期6.4个月
期刊
<正>1问题的提出变压器接线柱发生电弧烧损、锈蚀等问题后,需要将变压器停电、拆装后送至大修厂进行修复,更换变压器接线柱。维修变压器将产生大量费用,同时又影响了油井的运行时率,影响油井的产量。为解决这一问题,研制了变压器接线柱防止烧蚀装置。经实际应用,该装置有效解决了变压器接线柱本身的电弧烧损、锈蚀等问题,避免了因接线柱损坏而更换变压器的现象,可在变压器接线柱的使用领域推广。下面对这一装置进行具体介
期刊