基于深度学习端到端的对话状态跟踪研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:wenjun456852
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对话系统是人工智能领域的热点话题。目前对话系统最新的研究大多由深度学习技术完成,利用大数据来学习特征表示和策略,同时仅需要少量的人工特征提取。近几年对话状态跟踪任务是对话领域的热点任务,尤其是近3年基于深度学习的端到端对话状态跟踪研究。对话状态跟踪是任务型对话系统核心组成部分,目的是根据上下文信息来预测当前轮用户的目标。传统的对话状态跟踪方法将自然语言理解模块的输出作为输入,在一定程度上增加了误差传递,另一方面其对历史信息和当前轮信息的交互能力不强,随着对话轮次的增加,槽值的识别效果不好。目前,用于对话状态跟踪的研究语料库主要是英文数据集。因此为了探讨对话状态跟踪模型在中文语料跨领域数据集上的效果,本文设计了基于层级注意力网络的对话状态跟踪方法,并将其与槽-句状态跟踪网络进行对比分析。本文设计的基于深度学习端到端的对话状态跟踪算法可以直接从用户话语和系统反馈中获取对话状态,并能够实时更新。对于传统对话状态跟踪面临的问题,本文引用并构建了一个基于BERT的槽-句信念跟踪网络。该模型使用BERT作为编码器,分别对候选槽、当前轮槽值、当前轮用户话语、当前轮系统反馈进行编码,使用多头注意力机制对编码结果进行交互,将交互结果及上一轮对话状态输入到LSTM模型中进行对话状态跟踪。该模型在英文WOZ2.0单领域数据集以及中文CrossWOZ跨领域数据集上均取得了良好的效果。为了解决传统对话状态跟踪方法无法处理长轮次对话以及槽-句信念跟踪网络的速度较慢的问题,本文在前人模型的基础上进行了简单修改,提出了基于ALBERT的层级注意力网络。该模型在槽-句信念跟踪网络的基础上输入所有历史对话,利用多头注意力机制将候选槽与所有对话进行多轮次交互,获取候选槽与全部轮次对话语句之间的信息(全局信息)、候选槽与当前轮对话之间的交互信息。随后,使用LSTM结构对全局信息与当前轮次信息建模,获取当前回合的对话状态。实验证明,相比于槽-句信念跟踪网络,该模型在中英文语料上,均有着预测速度更快、准确率更高、内存占有更少的优点。
其他文献
报纸
作为中医药文化的精品之作,《本草中国》以全新的叙事方式、精美的视听语言和多元化的传播渠道为观众呈现了一部中医药文化视觉史诗,赢得了观众的一致好评,为普及中医药知识、传承中华传统文化发挥了巨大作用。以拉斯韦尔“5W”传播理论为基础,从传播主体、传播内容、传播渠道、传播受众和传播效果等5个要素分析《本草中国》系列纪录片的传播特征,以期为新媒体时代中医药文化的创新发展提供借鉴和参考。
随着新型消费发展进入快车道,各大新消费品牌之间的广告竞争也愈发激烈,而短视频平台作为商业变现的快速通道,受到了众多广告商的青睐。“音乐”作为提升短视频吸引力的第一法则,许多品牌凭借广告音乐在短视频平台实现了“破圈”,音乐营销的价值随之彰显。蜜雪冰城便是凭借13个字的主题曲收获上亿流量,其抖音话题最高播放量达55亿,累计播放量已突破上百亿。因此,本文将以品牌传播为视角,对广告音乐在短视频平台的传播进
由玉环县汇达地漏厂生产的《新型防返溢地漏》是实用、新型的专利产品,专利号为:90202612.7,该产品于1990年11月通过了天津市城乡建设委员会组织的有市科委参加的科技成果技术鉴定和1991年1月通过了开发区科技局组织、开发区管委会主持、有市建委参加的产品鉴定。技术先进、属国内首创。为进一步推广应用,于1991年9月20日上海市建设委员会科学技术委员会和上海市建筑五金
期刊
压电材料有着广泛的应用前景,尤其是在智能元件中有着广泛的应用。含裂纹、圆孔、非圆孔等各类缺陷的压电材料的动力学问题一直是国内外力学界和材料学界研究的热点,然而对于复合型缺陷的研究较为少见。本文研究双相压电材料中界面非圆孔边裂纹复合型缺陷的动力反平面行为,其中主要研究界面非圆孔的加入对界面裂纹尖端动应力强度因子的影响,目的是对工程设计提供一定的理论基础。首先,利用保教映射法构造出具有非圆孔型凹陷半无
你要是真的想和我好,那就拿出点真本事来证明自己。一想到这句话,程中明就恼火,可他没办法消灭这句话,因为只要一空下来,那句话就像一只偷油的老鼠那样,鬼头鬼脑地从他的脑隙里探出了头,并且东张西望,弄得他心痒痒,恨不得一把拧下它的头来。如果这句话是别的人说的,程中明或许早就把它像皮球一样踢得远远的了。问题是:这句话
期刊