迁移学习在命名实体识别中的应用

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:jly1211
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
命名实体识别是自然语言处理领域一项很基础且重要的任务,这个任务旨在给定的文本中识别出被命名的实体词。这项任务可以被一些下游任务所利用,如:关系抽取,时间抽取,问答等。但是这项任务过分依赖于大量有标注的语料,在传统领域下由于语料充足,语料标注质量较好,人名、地名及机构名的识别通常有比较好的表现,但是在一些特定领域(如旅游领域,医疗领域),受限于有标注的数据,命名实体识别的效果对比传统领域有一个明显的下滑。如何进行领域迁移,提升特定领域模型的表现是本课题的主要研究内容。本文所采用的数据集是来自于云孚科技提供的大规模军事领域语料和小规模传统领域语料。军事领域作为源领域,传统领域作为目标领域,利用三种不同的迁移学习方法完成命名实体识别的领域迁移任务。基于参数迁移的命名实体识别领域迁移的方法,通过对源领域预训练的模型进行Finetune,并且对两个领域的词向量分别进行训练以达到区别向量空间的目的。在测试数据集上进行测试,结果好于传统命名实体识别模型。基于多任务学习的命名实体识别领域迁移的方法,在多任务学习框架的基础上,对云孚科技的军事领域和传统领域数据进行命名实体识别联合训练,并且在共享特征抽取层后面添加了领域映射机制进行更好的抽取特定领域特征。最终结果优于传统命名实体识别模型。基于对抗学习的命名实体识别的领域迁移模型,考虑到多任务学习框架中共享特征的部分含有噪声问题,即特定领域的特征会掺杂其他领域的特征,本文加入对抗学习机制,将共享特征进一步提纯,此外,加入了池化层进行特征的抽象和梯度反转层进行判别器参数的优化。在模型中加入了Self-Attention机制抽象句子中词与词之间的关系信息。对比多任务学习,实验结果有明显提升。评价方面,采用命名实体识别常见的准确率,召回率和F1值作为评价指标,实验表明,三种迁移学习方法效果均优于传统的命名实体识别方法。
其他文献
辨证治疗小儿癫癇62例纪凤鸣(南京中医药大学附属医院儿科210029)关键词癫,辨证治疗癫是小儿时期最常见的一种神经系统综合症,病情顽固难治,其主要临床表现为发作性神志异常及肢体抽搐,长期
根据所研究对象的结构特点,对改性聚丙烯塑料贮槽进行3D建模,利用有限元计算软件ANSYS进行了应力计算,得到了该设备应力、应变的分布状况,确定出该设备的危险区域,并用常规的强度