论文部分内容阅读
任务型对话系统是对话系统中的重要分支,面向诸如订票、预约业务、点播歌曲等各项具体任务。近年来,随着自然语言处理技术的迅猛发展以及智能终端设备的大规模普及,基于任务型对话系统的终端应用开始广泛服务于生活中的各个领域。自然语言理解模块是任务型对话系统的基础,由意图分析以及槽填充子模块组成,因此任务型对话中意图分析与槽填充方法的研究有着广阔的前景与极高的应用价值。本文主要针对任务型对话中的意图分析任务与槽填充任务进行研究,具体内容包括如下三个研究点:
第一,本文提出了一种基于上下文信息的意图分类方法。意图分类任务的目的是通过分类的方式得到用户的具体意图。在任务型对话过程中常常出现语义缺失以及意图转变等复杂的情况,给意图分类任务带来了挑战。因此本文提出了一种基于上下文信息辅助的意图分类方法以充分利用多轮对话中的上下文信息。具体而言,首先结合字音特征构建对话文本的初始表示,其次使用层次化注意力机制对当前轮和上下文文本进行语义编码;最后构造以多任务学习框架为基础的信息共享网络,网络中上下文语义通过语义共享模块融入当前轮语义中,以帮助当前轮对话的意图分类。实验结果表明,基于上下文信息的意图分类方法能够显著的提升任务型对话的意图分类效果。
第二,本文提出了一种基于多对多匹配的意图匹配方法。意图匹配任务的目的是通过匹配的方式确定用户的具体意图。在任务型对话过程中,常常出现对话由非正式文本组成、匹配关系含糊不清的现象,给意图匹配任务带来了挑战。因此本文提出了一种多对多的层次化匹配框架以挖掘对话间的意图匹配关系。具体而言,首先将待匹配的非正式对话文本切分成由子句组成的序列;其次计算序列中任一子句与另一序列中每个子句的匹配向量,得到匹配向量序列;最终将匹配向量序列通过语义整合层汇总得到对话文本对的匹配关系。实验结果表明,基于多对多匹配的意图匹配方法能够很好地提升任务型对话的意图匹配效果。
第三,本文提出了一种基于联合学习的槽填充方法。槽填充任务的目的是从对话中抽取出槽值信息以补全用户语义。在多轮任务型对话的槽填充场景中,常常出现错误传递、语义信息转变以及无法端到端训练的问题,给槽填充的研究带来了挑战。因此本文提出一种结合意图分类与槽填充的联合学习方法。具体而言,首先通过预训练语义编码器编码多轮对话,其中当前轮编码作为意图分类与槽填充共享信息,历史轮编码作为上下文信息;其次基于记忆机制将历史轮信息整合为意图分类与槽填充任务的共享上下文向量;最后将共享上下文向量分别融入意图分类模块与槽填充模块获得意图标签与槽值标签。实验结果表明,基于联合学习的方法能够显著的提高槽填充任务的准确率。
第一,本文提出了一种基于上下文信息的意图分类方法。意图分类任务的目的是通过分类的方式得到用户的具体意图。在任务型对话过程中常常出现语义缺失以及意图转变等复杂的情况,给意图分类任务带来了挑战。因此本文提出了一种基于上下文信息辅助的意图分类方法以充分利用多轮对话中的上下文信息。具体而言,首先结合字音特征构建对话文本的初始表示,其次使用层次化注意力机制对当前轮和上下文文本进行语义编码;最后构造以多任务学习框架为基础的信息共享网络,网络中上下文语义通过语义共享模块融入当前轮语义中,以帮助当前轮对话的意图分类。实验结果表明,基于上下文信息的意图分类方法能够显著的提升任务型对话的意图分类效果。
第二,本文提出了一种基于多对多匹配的意图匹配方法。意图匹配任务的目的是通过匹配的方式确定用户的具体意图。在任务型对话过程中,常常出现对话由非正式文本组成、匹配关系含糊不清的现象,给意图匹配任务带来了挑战。因此本文提出了一种多对多的层次化匹配框架以挖掘对话间的意图匹配关系。具体而言,首先将待匹配的非正式对话文本切分成由子句组成的序列;其次计算序列中任一子句与另一序列中每个子句的匹配向量,得到匹配向量序列;最终将匹配向量序列通过语义整合层汇总得到对话文本对的匹配关系。实验结果表明,基于多对多匹配的意图匹配方法能够很好地提升任务型对话的意图匹配效果。
第三,本文提出了一种基于联合学习的槽填充方法。槽填充任务的目的是从对话中抽取出槽值信息以补全用户语义。在多轮任务型对话的槽填充场景中,常常出现错误传递、语义信息转变以及无法端到端训练的问题,给槽填充的研究带来了挑战。因此本文提出一种结合意图分类与槽填充的联合学习方法。具体而言,首先通过预训练语义编码器编码多轮对话,其中当前轮编码作为意图分类与槽填充共享信息,历史轮编码作为上下文信息;其次基于记忆机制将历史轮信息整合为意图分类与槽填充任务的共享上下文向量;最后将共享上下文向量分别融入意图分类模块与槽填充模块获得意图标签与槽值标签。实验结果表明,基于联合学习的方法能够显著的提高槽填充任务的准确率。