基于半监督解耦的命名实体识别迁移算法

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:lxr_hu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
命名实体识别(NER)作为自然语言处理领域中不可或缺的任务,虽然其算法已经广泛运用于各种应用当中,但是基于传统机器学习或者深度学习的命名实体识别算法仍然十分依赖于许多具有相同分布的标注数据,从而导致模型泛化能力较弱。而在实际应用中标注数据的规模都较小或者数据都是与业务领域强相关的,如果要获得大量的标注数据,其代价是十分高昂的。另一方面,往往训练模型的数据分布通常不能满足独立同分布假设,所以通常由一个领域数据训练的模型往往在另一个领域表现效果都不太理想,恰好迁移学习可以通过迁移算法使得在源域训练得到的模型迁移到目标域,并且取得良好的实验结果。而在NER任务中引入迁移学习的做法,通过使用源域的标注数据构建以及训练模型,然后使用迁移学习方法在目标域数据上进行训练,从而达到减少目标域所需标注数据的目的,提高模型在目标域上的效果。幸运的是,在命名实体识别任务中,两个不同领域之间的实体它们对应的语法子结构是类似,属于领域无关信息的一部分,这部分信息是可以在不同领域之间进行迁移的,而实体的类型则是由领域主题信息决定的,属于领域特有信息的一部分,该部分信息有助于提高模型的命名实体识别效果。目前命名实体识别迁移算法面临如下挑战:(1)如何在源域和目标域中提取领域无关特征信息,如实体的语法结构信息,(2)如何融合目标域中的领域特有特征信息来提高模型在目标域上的效果,如领域主题信息。适针对以上所说的难题,论文主要工作包括:1)为了有效提取源域和目标域中领域无关的信息,本文基于深度学习方法提出命名实体识别的半监督解耦迁移算法,通过增加领域分类器使模型捕获到领域特有信息,通过三个互信息正则项来解耦领域无关信息和领域特有信息,并且根据领域无关信息与领域特有信息预测目标域数据集的实体,从而提高模型在目标域上的效果。2)解决了在缺乏实体对应相关子结构的相关标签情况下提取领域无关信息的问题,通过使用互信息正则项,模型可以在有限监督信号内完成模型领域无关信息与领域特有信息的提取。跨领域迁移实验、跨语言迁移实验以及低资源迁移实验的结果表明,模型均可在对应的数据集上取得较好的实验结果,能够通过互信息来解耦得到领域无关信息和领域特有信息,从而提升模型迁移效果。
其他文献
多主元高熵合金由叶筠蔚等学者在2004年提出,并迅速成为研究热点。不同于传统金属学理论,高熵合金一般具备5~13种主要元素,每种主元所占原子比在5%~35%之间。根据不同的实际工业用途可以设计不同成分高熵合金以满足生产需求,使其展示出优异的机械性能、耐蚀性、热稳定性和抗辐射性等。为了改善高熵合金强塑性匹配及铸造性能等问题,卢一平等学者在2014年提出共晶高熵合金的设计理念。共晶高熵合金相比于普通高
为了保障复杂机械设备的安全可靠运行,近年来国内外学者开发了多种基于传统机器学习与深度学习算法的设备故障智能诊断模型。在实际工程应用中,在设备不同工作状况下采集的监测数据往往服从不同的分布,使得在原工况(源域)下训练的智能诊断模型难以适用于新的工况(目标域)。此外,给采集到的监测数据添加标签依赖于专家在专业领域的知识与经验,费时费力。因此,在机械设备改变工况后(目标域),标签数据的获取十分困难,无法
仓储调度问题是智能仓储研究的重要课题方向之一。一个好的调度方案能有效地提升仓储效率和高效地处理订单需求,对于物流企业服务质量和经济效益的提高都有很大的帮助。然而,这一研究路线中的研究模型或者方法中没有同时考虑不确定效果和并行动作,而且存在人工干预和可解释性差等局限性。另一方面,尽管概率并行规划可以同时对不确定性效果和并行动作进行建模,但是现有的概率并行规划求解器无法有效地解决大规模问题。因此,本文
近红外长余辉发光材料是一种能够吸收高能紫外线或者可见光等的能量并在激励停止后能够继续发出近红外光一段时间的特殊材料,它在高分辨率生物成像、近红外照明、光学防伪、高灵敏度生物传感、高转换效率太阳能电池和潜在的军事活动等领域提出了一些富有想象力的应用。然而对近红外长余辉材料的探索过程仍处于初步阶段。虽然近些年来,对近红外长余辉材料的研究和机理的探索取得了一定的成果,但是目前来说主要还是选择高成本的镓酸
学位
制鞋业是国民经济的一个重要的产业,其中鞋底点胶是制鞋业中一个重要的工序,随着人工智能技术的发展,鞋底点胶领域通过引入人工智能的技术,能够智能指导点胶机的六轴机械手自动点胶,但是传统的算法在识别鞋底边缘轮廓存在识别的结果不清晰,无法构成有效的点胶路径点做规划,且无法在规定的时间内完成点胶路径的规划,严重影响了鞋底点胶生产的效率与准确性。针对现有的点胶加工方法中算法实现复杂、路径规划效率低与规划不合理
仿人机器人的驱动器是仿人机器人系统的核心之一,驱动器性能与特性对于仿人机器人来说至关重要,它决定了机器人的运动性能和控制难易程度。本文所设计的仿人机器人驱动器采用的是准力矩电机,亦叫本体驱动器(Proprioceptive Actuator),它由大扭矩力矩电机串联低减速比减速箱(10:1以内)组成。相比于传统的高减速比或基于串联弹性机构(SEA)驱动器,它能通过电流环做精准的力控,同时还具备高频
长非编码RNA(lncRNA)是一种长度超过200个核苷酸的nc RNA,在细胞增殖、细胞分化、表观遗传调控、基因组印记、染色体修饰等许多重要的生物学过程中发挥着不可替代的作用。lncRNA与人类疾病息息相关,但其背后的确切机制尚不清楚。nc RNA研究对于理解细胞生物学和疾病机制的重要性还是显而易见的。为了推动研究的积极发展,需要发现新的lncRNA-疾病关联关系。然而,lncRNA与疾病之间的
本文尝试从品牌设计的角度为切入点对广州十三行文化进行调查研究,在现代社会推广具有历史意义的文化IP方法。将城市历史文化资源转化为具有城市地域特色的国际化品牌,并通过对品牌的应用获得经济收益,形成对城市文化遗产保护、利用、发展的可持续性的发展循环,延续城市文脉。首先对研究背景和现状进行了分析。近年来伴随着改革开放,中国的经济影响力在世界越来越大,但是文化影响力相对较弱,构建中国城市的文化品牌增加其软
目前,焊接机器人主要是通过拖动示教的方式实现对工件的重焊接,这种方式操作繁琐且受限于工件摆放位置的准确性,焊接的质量参差不齐难以完成高效准确的焊接任务。针对这种问题,本课题设计搭建了激光视觉平台赋予焊接机器人视觉感知能力,使其能够准确的识别出焊缝所在的空间位置,对帮助焊接工业机器人实现焊接自动化有及其重要的意义与价值。本课题选取识别的焊缝类型为厚度为10mm、角度为90°的V形坡口焊缝,首先完成焊