知识增强型预训练语言模型综述

来源 :计算机科学与探索 | 被引量 : 1次 | 上传用户:liongliong428
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
知识增强型预训练语言模型旨在利用知识图谱中的结构化知识来强化预训练语言模型,使之既能学习到自由文本中的通用语义知识,又能够学习到文本背后的现实实体知识,从而有效应对下游知识驱动型任务。虽然该方向研究潜力巨大,但相关工作目前尚处初期探索阶段,并未出现全面的总结和系统的梳理。为填补该方向综述性文章的空白,在归纳整理大量相关文献的基础上,首先从引入知识的原因、引入知识的优势、引入知识的难点三方面说明了知识增强型预训练语言模型产生的背景信息,总结了其中涉及的基本概念;随后列举了利用知识扩充输入特征、利用知识改进模型架构以及利用知识约束训练任务等三大类知识增强方法;最后统计了各类知识增强型预训练语言模型在评估任务上的得分情况,分析了知识增强模型的性能指标、目前面临的困难挑战以及未来可能的发展方向。
其他文献
高铁5G专网(5G-R)对可靠性和时延有更高的要求,而控制信道的可靠性尤其重要。多点传输(Multi-TRP)可以显著提高5G-R性能,是3GPP R16 5G的重要特性。研究了基于Multi-TRP的5G-R的PUCCH性能。首先,分析了Multi-TRP下控制信息的工作机制;然后,研究了在不同的控制信道格式下,多个接收点的接收信道估计方法和检测方法;最后,通过仿真试验对比了多个接收点的性能。仿
文章介绍了船舶关于防止电化学腐蚀的边缘设备,包括船舶装置、外加电流船体阴极保护和海水管系防腐蚀措施,分析了电化学腐蚀产生的原因,总结了对设备的维护管理经验,希望能引起船员对边缘设备的重视,减少船舶腐蚀的发生。
报纸
电厂在日常生产经营中,会使用到大量的热控仪表装置,并随着使用年限的增加,以及生产环境恶劣等因素的影响,会经常出现死机、黑屏、采样误差、设备烧坏等故障的发生,因此维护好热控仪表设备,对于电厂的生产经营的连续性有着重要的作用,同时做好检修维护工作还能提高设备使用年限,为企业节省设备改造及备品备件的资金,从而提高了电厂的经济效益。本文主要分析火电厂热控仪表故障类型以及检修要点,重点对故障检修要点和建议展
【目的】探讨疏风清肺汤联合糖皮质激素治疗慢性支气管炎的效果及对呼出气一氧化氮(FeNO)、半胱氨酰自三烯(CysLTs)的影响。【方法】选择在我院接受治疗的138例慢性支气管炎患者,采用随机数字表法分为试验组(n=70)和对照组(n=68)。对照组给予糖皮质激素治疗,联合组给予疏风清肺汤联合糖皮质激素治疗。比较两组临床疗效、FeNO、CysLTs、血清白细胞介素6IL-6)、肿瘤坏死因子(TNF-
目的观察复方氢溴酸右美沙芬联合头孢羟氨苄治疗小儿支气管炎的临床效果。方法选择2017年8月—2019年10月在洛阳市妇幼保健院治疗的小儿支气管炎患儿147例,随机分为对照组(74例)和治疗组(73例)。对照组口服头孢羟氨苄颗粒,每次15~20 mg/kg,2次/d;治疗组在对照组的基础上口服复方氢溴酸右美沙芬糖浆,2~3岁3 mL/次,4~6岁4 mL/次,6~9岁5 mL/次,3次/d。两组患儿