【摘 要】
:
近年来,得益于大规模易获取的对话数据以及深度学习在对话系统上的成功应用,基于神经生成模型的开放域对话系统受到了越来越多的关注。早期的开放域对话系统主要基于规则,其
论文部分内容阅读
近年来,得益于大规模易获取的对话数据以及深度学习在对话系统上的成功应用,基于神经生成模型的开放域对话系统受到了越来越多的关注。早期的开放域对话系统主要基于规则,其扩展性较差,并且需要大量的人力来编写规则。而神经对话生成模型能够充分利用大规模对话数据来学习有意义的特征表示和回复生成策略,无需编写大量的人工规则。尽管神经对话生成模型在开放域对话任务上取得了巨大的成功,但其同时也面临着一些新的挑战。其中,通用回复是最为普遍的一个问题。根据现有的研究,我们发现有三个重要因素导致模型容易生成通用回复:(1)现有的神经对话生成模型通常为输入信息和输出回复构建一个一对一的映射,然而在实际场景中,输入信息与输出回复是一对多的关系;(2)大多数对话数据集中的回复样本分布极其不均匀,同时现有的模型直接使用极大似然估计(MLE)进行优化,这会导致模型倾向于学习一些高频的通用回复;(3)现有的对话生成模型缺乏对用户意图的捕捉能力以及无法控制生成回复的全局结构,造成模型无法理解用户深层次的意图且容易生成不相关且句式单一的通用回复。本文主要针对开放域对话生成任务,旨在解决神经对话生成模型中的通用回复问题,提高其生成回复的多样性和信息量。基于上述观察,本文的研究内容主要包括:(1)针对对话数据的一对多特性,我们基于强化学习提出一种新的对话生成模型,其在训练时能够考虑一个输入同时存在多个合理回复的情况:(2)我们在CVAE模型中引入了一个可解释的离散隐变量,并且通过优化数据的对数似然下界来解决当前生成模型使用MLE进行优化所带来的高频回复问题:(3)我们在基于CVAE的对话生成模型中引入能够表示用户意图的句子功能特征,使得模型能够有效地识别用户意图和控制生成回复的全局结构。
其他文献
2015年《专利法(送审稿)》第6条规定“执行本单位的任务所完成的发明创造为职务发明创造”,把《中华人民共和国专利法》第6条中“主要是利用本单位的物质技术条件所完成的发明创造”排除在外,并对“利用本单位的物质技术条件所完成的发明创造”的约定权属机制做出了由雇主优先向雇员优先的立法模式的转变。1为了与职务发明有所区分,本文提出将“利用本单位的物质技术条件所完成的发明创造”定义为岗位发明。《专利法(送
随着服务经济时代的到来,知识经济受到越来越多的关注。从国家角度看,知识可以提高国家经济发展水平;从企业角度看,知识可以为企业创造新的财富。因而知识产权保护制度重要性
传统化石能源的不断消耗以及环境污染是如今全球范围内面临的最严重的问题之一。因此,研发高性能、多功能化的新型能源材料以改善现有能源结构,充分利用清洁能源是材料领域的
图的标号作为图论学科研究的一个分支,在1966年由Rosa等人提出,目的是解决Ringel的猜想。图的标号是图的顶点集和边集到整数集的映射,根据对边标号的不同要求,产生了各种类型的标号,比如:优美标号、奇优美标号、幸福标号、奇优雅标号和边魔幻标号等。由于图的标号在复杂网络、大数据、计算机理论、运筹学、有机化学、系统科学和图形密码等众多领域中有着广泛的应用,许多研究者在此方面作了大量的工作,但标号中
当前,中国高等院校和外国院校的国际交流和合作正如火如荼地开展。金陵女子学院作为中国历史上第一所授予高等学历的女子大学,从创立之初就与美国的七姊妹文理学院交往甚密,但国内鲜少有全面阐述其关系的文章。本项目报告是基于《七姊妹文理学院和金陵女子学院》(The Seven Sisters a Ginling College)的翻译撰写而成,该翻译的文本主要介绍相关著名人物和事件,阐述七姊妹文理学院和金陵女
开放存取(Open Access,简称OA)于20世纪90年代末大规模地兴起,在传统期刊与开放存取期刊并行的环境下,科研人员在选择向OA期刊投稿时会遇到包括费用、同行认可等在内的诸多困
在科技飞速发展的今日,科研合作范围和数字化文献的规模日益扩大。合著网络是一种基于作者协作关系的网络且表现出复杂网络具有的小世界与无标度特性。合著网络主题演化是研究网络中主题随时间变化的规律,并且该研究已成为研究合著网络的重要方向之一。因此,引入复杂网络相关理论技术与方法来研究合著网络主题演化的规律是很有意义的。受限于当前有效数据集的缺乏和计算能力不足等原因,研究合著网络主题演化的方向主要集中在网络
自工业革命以来,人们主要利用化石资源(煤炭、石油和天然气)来生产燃料和化学品,但是这导致了碳循环的严重破坏,因此迫切需要科学界推进可持续碳源替代技术的发展。费托(FT)合成
研究背景与目的:丙泊酚因为其起效迅速、可控性好、清醒快而完全等优点,现广泛应用于临床麻醉、ICU镇静和无痛诊疗中。但丙泊酚对心血管系统有明显的抑制作用,可导致心输出量
微表情是一种连续时间短、动作强度小、涉及面部区域小的自发表情。微表情识别在心理诊断、案件侦破、危险预警、交通安全、商业谈判、外交事务等领域都发挥着重要的作用。目