基于深度集成学习的槽填充方法研究

来源 :山东工商学院 | 被引量 : 0次 | 上传用户:xypcs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人机对话系统通常由对话理解、对话管理和对话生成三部分组成,槽填充是对话理解的一个重要任务。其目的是从对话中抽取与任务相关的关键信息,并形成“槽-值”形式的结构化语义表示。槽填充性能的好坏对人机对话系统的质量有着重要影响,近年来得到各领域研究者的广泛关注,逐渐成为人机对话系统领域研究的热点。传统槽填充方法多建立在规则匹配和统计学习的基础之上,基于规则匹配的方法是在字符串匹配的基础上加入了语义和语法规则,通过规则匹配抽取相关属性,这些规则通常需要领域专家来制定,对专业领域背景知识有较强的依赖。基于统计学习的方法通常利用人工标记的数据集进行模型训练,通过优化损失函数调整模型参数,此类方法的缺点是需要大量人工标记的数据样本。近年来,深度学习被广泛的用于槽填充任务,并取得了许多有意义的成果,但由于问题本身的复杂性,该领域依然存在许多亟待解决的问题,如槽填充模型不能很好的表示事物随时间变化的含义,在训练过程样本学习不充分,梯度消失和梯度爆炸等。针对上述问题,本文提出了一种基于深度集成学习的槽填充方法,通过用引入注意力机制的编码解码模型,对不同分布的样本进行学习,用集成学习的思想对该模型进行性能提升。实验结果表明,相比于其它的方法,本文提出的方法在槽填充任务中更具有性能优势,能有效的应用于槽填充任务中。本文主要贡献如下:1.提出了基于注意力机制和编码解码结构的槽填充方法。针对RNN及其变体存在梯度消失、梯度爆炸和不能很好处理时间序列问题,提出了一种引入注意力机制的编码解码模型。该模型使用Bi GRU作为编码器,使用单向的GRU作为解码器,提取语义信息全面丰富的序列特征。同时引入注意力机制来突出输入序列的关键特征,进而构造一个基于注意力机制的编码解码模型,使其在槽填充中获得更优的性能。2.提出了基于谱聚类的槽填充集成策略。针对单一的模型对样本学习不够充分和槽填充性能有待提高的问题,基于谱聚类提出了一种动态分类器集成选择方法。该方法采用基于注意力机制的编码解码模型对不同分布的样本进行训练,生成一组具有不同样本特征的分类器,基于谱聚类方法从分类器集合中动态的挑选出合适的分类器,对测试集中的每类样本进行预测,通过投票融合的方法进一步提高槽填充的性能。将现有的方法和本文提出的方法,在ATIS数据集和SQL查询语句上进行对比实验,实验结果表明,相比于现有的一些方法,本文提出的方法能近一步提高了槽填充的性能。
其他文献
自动门起源于20世纪30-40年代,当时主要用于军事仓库、重要工厂,为的是防火、防弹及开门方便。20世纪50年代后,自动门应用日渐广泛。许多大型银行、酒店、大厦为提高服务水平
夸克物质的研究有助于理解量子色动力学渐近自由和退禁闭的特征。第一章介绍了基本粒子标准模型的发展,简要回顾了QCD相图和致密星的基本知识。第二章重点介绍了NJL模型并利
随着中外文化交流的深入,国外书籍越来越受到中国读者的欢迎。然而,日记这种文体的书籍市面上却不多见。围绕日记开展的翻译研究更是少之又少。为了填补这一空白,本报告以David Sedaris所著的Theft by Finding:Diaries(1977-2002)一书为例,对日记翻译展开讨论。本次任务字数较多,因而采取组内分工的形式完成。在本次汉译英实践报告中,所讨论的笔译内容为译者所负责的Thef
民族地区资源丰富,战略地位显著,但民族构成多样,宗教影响深厚。近年来,随着城镇化、农业现代化的深入发展,我国民族地区城乡基层发生了翻天覆地的变化,利益主体多元化,利益
近年来,情感机器人发展迅猛,在机器人领域中占据很重要的地位,它的情感识别和情感理解表达能力使得人与机器人之间不再是机械化地交流,而是像人与人之间那样和谐自然,这就需
近年来,通过博弈论探究自然界中生物实体合作行为的研究成为新的热点,这对于多智能群体间的合作探究产生了深远的影响,国内外许多将博弈论应用于多智能群体间合作研究的实验
商业银行是人们储蓄资金的主要机构、是公司补充资本的重要渠道、是国家经济发展的核心命脉,因此商业银行系统性风险是防范系统性金融风险的重中之重。2008年美国次贷危机爆
伴随着我国社会经济的快速发展,科技服务业在国民经济中的地位日渐重要,科技服务业对经济增长的作用也越加明显。科技服务业作为一个新兴产业,在推动产业升级、拓宽技术传播
反渗透膜法海水淡化技术是解决淡水资源短缺的重要途径,但是反渗透膜在高效脱除海水中的盐分和有害物质的同时,也大量去除了对健康有益的钙镁等矿物质,导致淡化产品水的硬度
2017年10月18日,习近平在党的十九大中强调了创新的重要性,并指出:“深化科技体制改革,建立以企业为主体、市场为导向、产学研深度融合的技术创新体系。”企业与高校、科研院