论文部分内容阅读
人机对话系统通常由对话理解、对话管理和对话生成三部分组成,槽填充是对话理解的一个重要任务。其目的是从对话中抽取与任务相关的关键信息,并形成“槽-值”形式的结构化语义表示。槽填充性能的好坏对人机对话系统的质量有着重要影响,近年来得到各领域研究者的广泛关注,逐渐成为人机对话系统领域研究的热点。传统槽填充方法多建立在规则匹配和统计学习的基础之上,基于规则匹配的方法是在字符串匹配的基础上加入了语义和语法规则,通过规则匹配抽取相关属性,这些规则通常需要领域专家来制定,对专业领域背景知识有较强的依赖。基于统计学习的方法通常利用人工标记的数据集进行模型训练,通过优化损失函数调整模型参数,此类方法的缺点是需要大量人工标记的数据样本。近年来,深度学习被广泛的用于槽填充任务,并取得了许多有意义的成果,但由于问题本身的复杂性,该领域依然存在许多亟待解决的问题,如槽填充模型不能很好的表示事物随时间变化的含义,在训练过程样本学习不充分,梯度消失和梯度爆炸等。针对上述问题,本文提出了一种基于深度集成学习的槽填充方法,通过用引入注意力机制的编码解码模型,对不同分布的样本进行学习,用集成学习的思想对该模型进行性能提升。实验结果表明,相比于其它的方法,本文提出的方法在槽填充任务中更具有性能优势,能有效的应用于槽填充任务中。本文主要贡献如下:1.提出了基于注意力机制和编码解码结构的槽填充方法。针对RNN及其变体存在梯度消失、梯度爆炸和不能很好处理时间序列问题,提出了一种引入注意力机制的编码解码模型。该模型使用Bi GRU作为编码器,使用单向的GRU作为解码器,提取语义信息全面丰富的序列特征。同时引入注意力机制来突出输入序列的关键特征,进而构造一个基于注意力机制的编码解码模型,使其在槽填充中获得更优的性能。2.提出了基于谱聚类的槽填充集成策略。针对单一的模型对样本学习不够充分和槽填充性能有待提高的问题,基于谱聚类提出了一种动态分类器集成选择方法。该方法采用基于注意力机制的编码解码模型对不同分布的样本进行训练,生成一组具有不同样本特征的分类器,基于谱聚类方法从分类器集合中动态的挑选出合适的分类器,对测试集中的每类样本进行预测,通过投票融合的方法进一步提高槽填充的性能。将现有的方法和本文提出的方法,在ATIS数据集和SQL查询语句上进行对比实验,实验结果表明,相比于现有的一些方法,本文提出的方法能近一步提高了槽填充的性能。