论文部分内容阅读
自然语言理解(Natural Language Understanding,简称NLU)旨在以人类语言作为输入,得到机器可读的语义表示。它不仅可以让计算机理解人类语言,也有助于深化对语言能力和人类智能的认识。基于深度神经网络的方法在多个自然语言理解任务上取得了很好的效果,但同时也依赖于大规模的标注数据。但对于某些领域,其数据难以获得,或者对人工标注要求高,获取该领域的大规模标注数据?分困难,从而难以直接得到在该领域表现较好的模型。此时,通过跨领域知识迁移,借助其他领域的标注数据或模型来帮助目标域的学习,可以减轻对目标域标注数据的依赖,具有很好的理论研究意义和实用性。近年来,跨领域知识迁移的相关研究主要关注以下两个方面:单领域知识迁移和多领域知识迁移,前者旨在将某一源域的知识迁移到目标域,而后者关注于如何在多个领域间进行知识迁移,两者的共同目标是既迁移领域通用知识又尽量保持各领域特性。目前,跨领域知识迁移存在两个问题:在数据角度存在领域相关性差异问题,在同一领域内,领域特性存在差异,不同样本、不同词表现出不同程度的领域相关性;在模型角度存在跨领域参数共享问题,在不同领域间,领域差异体现在多个层面中,在不同领域间共享模型参数较为困难。针对自然语言理解中跨领域知识迁移这一主题,为了解决以上问题,本文提出了数据和模型两个角度的方案,通过建模更细粒度的领域相关性和进行更细层面的模型参数共享,在单领域和多领域知识迁移过程中更好地迁移了领域通用知识,同时尽量保持了各领域特性。全文开展了如下工作:1.从数据的角度出发,关注于领域相关性差异问题,提出了建模样本级和元素级领域相关性的方案,并将这种领域相关性引入到了单领域知识迁移过程中,实现了细粒度的知识融合。在三种序列标注任务上进行了实验,结果证明此方法有效地减少了负迁移,增强了知识迁移的效果。2.从模型的角度出发,关注于跨领域参数共享问题,通过领域相关的注意力机制,建模了更细层面的领域差异,在多领域知识迁移中实现了更细层面的跨领域参数共享。在机器阅读理解和情感分析任务上进行了实验,结果证明此方法有效地提升了各领域的性能。相较于其他多领域知识迁移方法,此方法在参数量和速度上均有一定的优势。3.为了更好地展示以上两种跨领域知识迁移方案的效果,同时将跨领域知识迁移方案落到实处,本文以中文分词任务为例,构建了中文分词跨领域知识迁移展示系统,提供了多个领域专用的分词工具,并展示了在多个领域上跨领域知识迁移的效果。