融合立场的短文本对话生成方法研究

来源 :黑龙江大学 | 被引量 : 0次 | 上传用户:alienroom
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,神经对话回复模型在学术界和商业界都获得了巨大的成功,但已有的工作忽视了对话中所蕴含的立场。而立场是人类对话中的重要因素,人类往往首先对输入句产生立场,再依据立场作出相应的回复。为此,本文将在深度神经网络框架下探索融合立场的短文本对话生成方法。具体地,本文将从以下三方面进行研究:(1)面向短文本对话的立场检测:在构建微博短文本对话立场标注语料库基础上,本文分别使用Bi-LSTM和Transformer构建了面向短文本对话的立场检测模型。此外,为了提高立场检测模型的鲁棒性,本文还采用430万个不含立场标签的微博正文-回复语句对训练语言模型。实验结果显示:当使用预训练语言模型时,Trasnformer和Bi-LSTM都取得了更好的立场分类性能,其中Transformer取得了最好的立场分类性能。(2)基于给定立场的短文本对话生成:为了在短文本对话生成中融合立场,本文首先采用融合预训练语言模型的Transformer立场分类器给微博短文本对话数据集自动标注了立场伪标签;然后,采用该数据集,训练基于LSTM的序列到序列对话生成模型,并比较了编码端融合、解码端融合以及解码和编码同时融合这三种立场融合方式。此外,解码阶段,分别使用束搜索和top-k采样进行解码,并比较了它们的BLEU分数和Distinct分数。实验结果显示:束搜索有着更高的BLEU分数和立场F1值,而top-k采样有着更高的Distinct分数。(3)基于自主立场的短文本对话生成:在融合给定立场的短文本对话生成基础上,本文进一步探索了短文本对话生成中的立场自主选择和融合问题。为此,本文首先采用Bi-LSTM方法构建了基于微博正文和立场的自主立场生成模型;然后,基于自主产生的立场,使用回复检索模型检索出合理的回复;最后,使用检索后重调模型,对检索结果作复制、修改或重写,生成更合理的回复。此外,我们分别使用束搜索和top-k解码,并对回复生成模型、回复检索模型和检索后重调模型的性能进行了比较。实验结果显示:自主立场生成模型能够产生合理的立场。另外,相比回复生成模型,回复检索模型有着更高的Distinct分数和更低的BLEU分数,而检索后重调模型能提高回复检索模型的BLEU分数。
其他文献
近年来,网络攻击已导致全球范围内多起电力系统停电事故,严重影响了社会生产活动甚至威胁到国家安全。造成停电事故的主要原因之一是网络攻击通过对信息层的破坏渗透影响物理
由于互联网上的多媒体数据爆炸式增长,人们对于能够方便快捷地检索多模态数据的需求日益增强,跨模态检索已经成为当前的研究热点。为了满足实际应用中低存储成本和高查询速度的要求,哈希技术在跨模态检索领域备受关注,它将高维多模态数据映射到公共的汉明空间进行模态间地相互检索。本文主要研究使用深度神经网络将多模态数据投影到公共的汉明空间,从减小编码误差、挖掘多模态数据的语义信息和缩小跨模态数据之间的差异性三个角
车联网(Internet of Vehicles)作为汽车驾驶、电子信息、交通运输等行业深度融合的新型产业形态,越来越成为各国竞相发展的重要方向。车联网以车内网、车际网和车载移动互联
随着移动通信网络的不断发展,有限的频谱资源成为了制约蜂窝网络性能的主要原因。设备到设备(Device-to-Device,D2D)通信基于蜂窝网络和蜂窝用户共享频谱资源,可以用来改善网
随着移动互联网技术的发展,使得移动终端设备和数据流量迅速增长,并且衍生出了一系列计算密集型和延迟敏感型的应用。然而移动终端设备的计算和存储能力有限,无法支撑计算密集型和延迟敏感型的应用,因此移动终端设备需要将计算复杂的任务卸载到云计算中心来执行,以此来减少服务延迟。然而,将计算任务迁移到云计算中心执行,会带来大量的数据传输,会引起核心网络的拥塞,更会对延迟敏感的用户带来严重影响。移动边缘计算(Mo
伴随着网络不断的高速发展,互联网早已成为人们日常生活中不可缺少的一部分。在互联网带来高速便捷的同时,也面对着严峻的安全问题。在传统互联网的网络架构中,网络设备配置复杂、不同类型设备扩展性差等缺陷问题,已经愈发的难以满足时代对网络灵活高效的管理诉求。软件定义网络(Software Defined Network,SDN)作为一种新型的网络架构概念顺应而生。这种全新的网络架构冲破了传统网络架构固有的垂
随着增强/虚拟现实、车联网和自动驾驶等新兴移动应用的飞速发展,移动终端因其自身的能力限制,无法满足移动应用对计算和存储资源的需求。移动边缘计算(Mobile Edge Computing,MEC)通过在网络边缘部署计算、存储和网络服务,能够有效地处理网络边缘产生的移动数据,满足了移动应用对于服务质量(Quality of Service,Qo S)的要求。但是,移动数据量爆炸式增长和海量设备连接给
脑电信号(Electroencephalogram,EEG)是机体自发的电活动,是一种具备时-空特性的生理信号,人情绪发生改变、产生不同想法、做出各种动作等,都会引起EEG的变化。因此,研究挖掘EEG中的特征,进而为严重运动失能患者搭建起与外界沟通的桥梁,成为脑机接口(Brain-Computer Interface,BCI)研究的重要方向。然而,由于EEG有着幅度微弱、信噪比低等特点,对它的研究
传统知识图谱主要使用从表格或文本数据中抽取到的三元组知识,随着相关技术的发展,出现了结合图像等其他模态数据构建多模态知识图谱的研究工作,在这个过程中噪声和冲突不可避免的被引入知识图谱。为了更好的应用知识图谱,需要对其中的多模态知识进行评估与验证。针对来自不同模态的三元组知识采用不同的方法进行评估,对于从文本中得到的知识,基于背景信息以及三元组上下文信息进行评估,对于从图像数据中得到的知识,基于场景
近年来,随着深度强化学习的不断发展,计算机已经在围棋、DOTA2等多个领域取得了超越人类的成绩。然而,数据利用率低、计算量大、训练单个智能体时间过长的问题仍旧阻挠着该领域的进一步发展。因此,提高数据利用率、降低所需计算量、减少训练时间对于深度强化学习领域有着十分重要的研究意义。有部分研究者利用迁移学习来帮助强化学习训练,迁移学习是一种利用源领域知识帮助目标领域训练的方法,然而如何去挑选源领域仍是一