面向开放域的两阶段对话生成算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:iamup
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面向开放领域的对话生成技术是构建智能对话系统中重要的基础技术。该技术旨在使用文本生成的方法,基于对话上下文生成不限领域的回复。目前该技术已广泛应用在智能助手、聊天机器人等应用中,具有很高的研究价值。目前主流的面向开放领域的对话生成模型,都是基于Seq2Seq结构设计的。这些模型在解码阶段使用单一解码器一次性生成对话回复,没有对回复中的实词和虚词进行区别对待。而由于虚词在对话数据中出现的频率要远高于实词,所以这些模型在生成回复时,会面临高频虚词对低频实词的生成造成干扰的问题,导致模型生成低信息量的回复。针对上述问题,本文首先在单轮对话生成任务中提出基于两阶段解码的对话生成模型(Two Stage Dialogue Generation,TSDG)。TSDG模型将对话回复的生成过程解耦成两个解码阶段:在第一阶段中生成回复中的实词序列,避免了高频虚词对其生成造成干扰的问题;在第二阶段中基于已生成的实词序列和对话上下文生成完整的对话回复。然后,本文将两阶段解码方法应用到多轮对话生成任务中,提出了基于层级注意力网络(Hierarchical Recurrent Attention Network,HRAN)的H-TSDG(HRAN-based Two Stage Dialogue Generation)模型。然而,基于RNN和层级注意力机制的H-TSDG模型存在位置偏差问题。为此,本文采用自注意力机制来捕捉相关上下文句子(Detecting the Relevant Contexts with Self-Attention,Re Co Sa)的语义信息,提出了R-TSDG(Re Co Sa-based Two Stage Dialogue Generation)模型。然而,R-TSDG模型仅利用上下文句子的编码信息来生成实词序列,难以捕捉实词之间的语义关系。为此,本文采用多尺度(Multiresolution)编码的方法,在第一解码阶段加入上下文中实词序列的编码信息,提出了Mr-TSDG(Multiresolution Two Stage Dialogue Generation)模型。为了验证本文的模型设计,本文分别在STC-SeFun、Weibo两个单轮对话数据集以及Douban多轮对话数据集上与目前主流的对话生成模型进行实验对比。实验结果显示,本文提出的两阶段对话模型在BLEU、实词分数(Content Words Score,CWS)以及人工评价(流畅性,相关性和信息量)指标上都优于其他几个主流模型,表明本文提出的两阶段解码方法能有效提高对话生成回复的信息量。另外,Mr-TSDG模型与R-TSDG模型的实词序列对比实验结果表明,多尺度编码方法能够提高实词序列的生成质量。
其他文献
复杂场景下多模态信息推理算法研究是人工智能领域研究热点之一,其结合了计算机视觉和自然语言处理两大研究方向,已成为学术界以及工业界关注的焦点。具体来说,给定一个场景(图片或视频),推理模型需要理解场景中复杂的多模态信息(物体和文本),然后生成一段符合该场景语义的文字描述,或者回答与该场景相关的问题。基于这个角度进行归类,复杂场景下的推理任务可以分为场景描述(Image Captioning)和视觉问
转速是评价电机系统运行状态和控制性能的重要指标之一,因此转速测试对于降低电机设计和维修过程中的成本,监控电机系统安全运行以避免工业事故的发生,保障人身安全等具有重要的意义。在电机系统的转速测试中,当速度传感器不便安装时可以对电机的电流或振动信号进行频谱分析获得转速信息,但是这种方法在转速突变的工况下跟踪性能较差。因此研究一种简单通用、快速准确的转速测试方法具有一定的工程应用价值。本文提出了三种转速
钢管混凝土叠合柱是一种新型钢筋混凝土结构构件,它是由钢管混凝土外包钢筋混凝土而成的柱,由于这种结构柱的承载能力高、抗震性能优越、施工相对简单,防火、防腐蚀、防锈蚀能力好,现在已经普遍用于高层建筑结构中。目前实际工程中梁柱节点连接方式有三种,但三种方法均存在梁柱节点构造复杂、施工效率低等缺点,限制了钢管混凝土叠合柱结构的推广。本文为了实现混凝土梁纵向钢筋的有效锚固且保证良好的静力性能,提出了一种新型
永磁同步电机(PMSM)因其体积小,效率高,功率密度大的特点,被广泛应用于高端制造业。由于传统矢量控制难以满足较高性能控制需求,本文采用改进模型预测转矩控制结合空间矢量调制(MPTC-SVM)提升控制性能;为了进一步扩大PMSM的应用范围,本文还用模型预测控制改进了基于模型参考自适应系统的无位置传感器控制(MP-MRAS),并通过仿真与实验验证了两种改进措施的有效性。本文主要工作内容:(1)从PM
如今,随着移动互联网技术的发展和普及,互联网数据流量高速增长,视频流量更是占据了主要部分,同时终端设备的高性能和低延时使得人们对网络上视频清晰度的要求也越来越高。加上云平台和云计算的发展,有更多人通过网络传输高清视频或上传云端保存高清视频,这使得视频的安全性成为重要关注点。利用视频加密和隐藏的方法,人们可以在上传视频时将视频内容扰乱,同时嵌入访问控制、完整性校验甚至隐私保护等信息。高效视频编码(H
中国消费市场的快速增长为中国新型的可穿戴产品创造了巨大的需求,由于是贴身产品,可穿戴类型的产品对于产品的舒适性要求相比普通的工业产品要高得多。特别是一些头戴产品如自行车头盔、VR眼镜、护目镜等典型产品,需要与头型有良好的贴合性能,才能具有佩戴舒适性和防护安全性,但由于人体头部形态的复杂性,头戴产品内部形态设计必须参考头型曲面,需要相关的头型数据和分析工具来辅助设计。目前头戴产品设计师在设计过程中普
伴随着互联网的发展,各类应用系统不断出现,每个应用系统都为用户提供了各种不同的功能,用户新提出的需求中有很大部分是可以借助应用系统现有功能之间的集成来实现的。目前功能集成的实现通常是由开发者通过传统编码来完成,实现过程中开发者需要完成大量繁琐的操作,且各开发者的编程习惯各不相同导致代码可读性得不到保证。为解决以上问题,本文提出了一种面向功能集成场景的编程语言——集成帮语,开发者可使用集成帮语提供的
灰霉菌(Botrytis cinerea)具有宿主广泛、侵染方式多样与易产生抗性等特点,是难于防治的主要病原真菌之一,近年来对多种温室、大棚栽培蔬果危害日益严重。白藜芦醇等植物源二苯乙烯类化合物对灰霉菌等植物病原菌具有良好的抗菌活性,常作为先导化合物用于新药研发。杂环异噁唑具有独特的结构特征与理化性质并表现出广谱高效的生物效应。基于此,本文采用以分子杂化方法将3-取代苯基异噁唑活性亚结构引入二苯乙