联合BERT与Seq2Seq模型的情感对话生成研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:fenderchu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
建立一个能与人类自然交流的对话系统一直是人工智能的一个研究热点。情感信息的加入可以让系统更加智能,然而现有研究虽然在模型中融入了情感信息,但也面临着生成回复的内容质量不高的问题。本文针对该问题,运用深度学习相关技术辅助对话模型生成指定情感类别的回复,主要工作如下:(1)提出了一种联合BERT与Seq2Seq的对话生成模型。针对传统的Seq2Seq模型存在特征提取能力有限,难以捕捉文本的长期依赖关系等缺点,本文将预训练模型BERT与Seq2Seq模型相结合,利用BERT为Seq2Seq模型的解码器提供输入序列的句向量表征。对于任意的输入序列,该模型的编码器使用双向GRU将其转化成隐含向量集,然后在解码的每个时刻计算出注意力向量。同时,模型的BERT模块根据输入序列和解码器的隐含状态得到当前时刻的句向量表征。再通过一个融合单元将BERT模块提供的句向量表征与注意力向量相融合,最后模型通过解码器得到预测的回复。本文采用了两种语言的数据集进行实验,分别是英文的康奈尔电影对话数据集和中文的NLPCC 2017情感对话数据集。通过设计对比实验,在自动评估指标和人工评估指标上进行了模型评估,实验结果显示该模型所生成的回复在多样性和相关性方面明显优于传统的Seq2Seq模型。(2)提出了一种联合BERT与Seq2Seq的层次情感对话生成模型。现有的情感对话研究工作中,由于情感信息的加入,容易导致模型生成回复的内容质量较差。针对该问题,本文通过在传统的Seq2Seq模型中,把词级别情感信息和句级别情感信息分层次进行融合,有效的缓解了这个问题。为了辅助模型准确生成指定情感类别的回复,本文继上一章的基础,进一步利用预训练语言模型在特征提取方面的优势,建立了基于BERT的情感分类器,使用BERT提取的特征提高情感分类的精确度。另外,还提出了情感损失函数的概念,使得模型生成的回复能够包含指定的情感类别。本文实验使用的数据集为NLPCC 2017中文情感对话数据集。在自动评价指标和人工评价指标两种评估方法中的实验结果显示,本文提出的模型在回复的情感准确度和内容质量上均优于其他基准模型。
其他文献
蜜蜂是自然界中最重要的传粉昆虫,在生物多样性和生态系统的保护中具有重要意义。然而近年来世界范围内的蜂群数量正在大幅减少,这严重威胁人类粮食安全和生态系统稳定性。农药的广泛使用产生的亚致死效应普遍会对蜜蜂的发育带来潜在影响,而各类病原的侵染又会对蜜蜂及蜂产品的的安全生产带来威胁。前人的研究主要集中于单种应激源对蜜蜂的影响,忽略了蜜蜂在自然条件下同时暴露于多种应激源下的现实情况。多菌灵是花粉中检出率最
铝是现代工业中应用较多的一种有色金属材料,具有贮量丰富、密度小、强度高等优点,被广泛应用于汽车工业、房屋装修、食品包装、航天航空等领域。随着经济社会的高速发展,我国已成为全世界最大的铝消费国与生产国。在铸造生产金属铝锭的过程中,浇注熔融铝液的金属模具(简称铝锭模具)工作环境严苛,短时间内需承受10~700℃温度梯度变化及高温金属铝液的冲刷腐蚀,在长时间的服役过程中易造成模具损坏,导致企业生产成本增
干式配电变压器是配电系统的核心设备之一,主要作用是对电能进行传输和分配,因此其健康状态会直接影响整个配电系统运行的安全性、稳定性和经济性。对已投运的配电变压器进行检修可有效降低其故障率,进而保障其良好的运行状态。传统配电变压器采用定期检修的方式,不仅可能会造成不必要的人力物力资源浪费,甚至会由于不能及时排查出故障隐患或过于频繁的检修而导致配电变压器出现损坏。状态检修可以克服定期检修的缺点,但目前电
学位
反舰导弹侵入舰船内会因爆炸而产生高速破片,对内部舱室和人员设备造成严重毁伤。舱壁防护装置作为重要舱室的最后一道防御屏障,其防护能力至关重要。纤维增强复合材料因比强度高、比模量大等优异的力学性能,被广泛用于舱壁防护装置的设计。当高速破片侵彻纤维增强复合材料层合板时,破片会发生塑性变形,纤维增强复合材料也会出现应变率效应,它们会影响纤维增强复合材料层合板的抗侵彻性能,然而现有文献对同时考虑破片的塑性变
学位
S32760双相不锈钢是一种在固溶退火条件下铁素体相和奥氏体相所占比例几乎相等的超级不锈钢,具备优异的机械性能和耐腐蚀性,因此在船舶工程、海洋工程等复杂且具有腐蚀性的工作环境中具有广泛的应用。由于S32760双相不锈钢的热传导率、弹性模量、比热容等较小,导致其在切削过程中温升较快且不易扩散、工件材料变形较大、易于产生锯齿形切屑、刀具极易磨损,工件已加工表面的质量难以得到有效保证,实现S32760双
学位
蛭石是一种具有TOT型层状结构的层状硅酸盐矿物,天然蛭石大都由金云母风化形成。由于风化不完全,开采出的蛭石通常是金云母-蛭石间层矿物。产出的蛭石也均为金云母间层与蛭石间层的比值不定,含铁量也不均匀。在开采蛭石矿的同时,大量的金云母也被开采出来,这部分的金云母由于为经历风化,纯度较高,但由于理化性质与蛭石完全不同,不能像蛭石一样被有效应用,常常作为尾矿堆砌在尾矿坝中,或是以极低的价格出售,造成资源的
神农香菊Chrysanthemum indicum var.aromaticum 是菊科 Compositae 菊属的一个新变种,发现于湖北神农架地区,它具有很高的药用价值和经济价值[1]。本文以神农香菊为物质基础,采用少溶剂微波辅助蒸馏同时萃取技术提取神农香菊叶精油,利用(GC-MS)气相色谱-质谱联用测定精油成分,同时采用微波辅助提取法提取神农香菊叶中的绿原酸及蒙花苷,并通过高效液相色谱法(H
随着第55颗地球静止轨道卫星的成功发射升空,北斗三号系统完成了最终部署,其既能播发北斗二号系统的卫星信号,又新增了B1C与B2b信号,信号的空间接口文件也相继发布。导航接收机作为北斗三号系统的重要组成部分,其研发成为热点研究。在导航接收机的研发过程中需要利用真实卫星信号进行算法研究,以及流片后的芯片性能评估。论文设计了一种支持北斗主流导航信号B1C与B2b的接收机算法性能验证系统,实现对卫星导航信
目的:通过对比防风通圣散加减和丹参酮胶囊治疗风热壅盛型痤疮的临床效果,客观评价防风通圣散加减对风热壅盛型痤疮的治疗疗效,评估其安全性和远期疗效,完善中医诊治风热壅盛型痤疮的方法及思路。方法:选取2019年12月至2020年12月就诊于山西中医药大学附属医院皮肤科门诊的风热壅盛型痤疮患者,收集符合纳入标准的80例病例,将符合研究标准的病例每一例按就诊顺序标号,分组方式采用不平衡指数最小分配原则,分为
学位
王陽明作為思想家以其心學而聞名,時至今日,其“心即理”、“知行合一”、“致良知”之説仍被人們廣泛提及,陽明傳記也不斷被重寫。本研究以明清王陽明傳記為研究對象,1錄、