基于多粒度语言学知识的神经机器翻译的可解释性研究

来源 :昆明理工大学 | 被引量 : 0次 | 上传用户:geweiqi0219
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习的发展,神经机器翻译模型在各种翻译任务上都取得了卓越的表现,但由于模型参数规模庞大、结构复杂、自然语言在模型内部以不可理解的数字形式传递等原因,神经机器翻译模型仍是“黑箱”模型,其内部工作机制尚无法被直观理解,这导致了难以在原有模型的基础上进一步提升翻译质量等问题。因此,神经机器翻译的可解释性工作具有较大研究价值。为了进一步增进对神经机器翻译工作机制的认识,本工作以目前使用最广泛的Transformer神经翻译模型作为研究对象,从语言学知识的角度,以词性信息、依存关系、句法分析为代表,分析了Transformer翻译模型内部注意力节点在翻译过程中对于处理单个词信息、词间关系信息和句子整体句法结构的作用,将人类不可理解的神经机器翻译模型与可理解的语言学知识建立起联系,更直观地解释了神经翻译模型内部模块在翻译中的工作机制。本论文提出了三种衡量节点对于语言学信息的贡献程度的指标,定量计算了节点在翻译过程中的作用,并通过屏蔽模型中各语言学知识相关的负作用节点,在原有模型的基础上进一步提升了模型的翻译性能。针对神经机器翻译模型的可解释性研究,本论文主要完成了以下研究工作:(1)词性信息在神经机器翻译过程中的作用分析。本论文提出了一种基于词性信息的神经机器翻译的可解释性研究方法。针对难以理解注意力节点在翻译过程中如何处理单个词信息的问题,本论文提出了一种基于词性信息的研究方法,通过屏蔽节点前后译文的变化情况来定量计算节点在翻译过程中对于词性信息的贡献程度。针对传统可解释性研究主要集中在源语言输入的问题,本论文提出的方法可以更好地分析翻译模型内各模块对模型输出译文的作用和影响情况,更好地将可解释性研究和模型的翻译性能建立起联系。本论文提出了一种屏蔽对于词性信息具有负面作用节点的方法,在原有模型的基础上进一步提高了模型的翻译性能,在newstest2020-deen测试集上提升BLEU值1.68。(2)依存关系在神经机器翻译过程中的作用分析。本论文提出了一种基于依存关系的神经机器翻译的可解释性研究方法。针对难以理解注意力节点如何处理词间关系和短语句法的问题,本论文提出了一种基于依存关系的解释方法,分析了屏蔽节点对于各类依存关系及其对应单词组合的翻译准确率的影响情况,定量计算了各注意力节点对于不同依存关系信息的贡献程度,分析了神经机器翻译模型各模块在翻译过程中对于处理词间关系的工作机制,以及模型中不同注意力节点贡献程度的差异和分布规律。本论文提出一种基于屏蔽依存关系相关负作用节点的方法,可以在原有模型的基础上进一步提升翻译性能,在newstest2020-deen测试集上提升BLEU值1.18。(3)句法树在神经机器翻译过程中的作用分析。针对难以理解注意力节点如何处理句子整体句法结构的问题,本论文提出了一种基于句法树分析的神经机器翻译的可解释性研究方法,分析了各注意力节点在翻译过程中对于正确构造句子整体句法结构的贡献情况,并探索了注意力节点贡献程度的分布规律。本论文根据各节点对于句法树信息的贡献程度,提出一种基于屏蔽句法结构相关负作用节点的翻译性能提升方法,在newstest2020-deen测试集上提升BLEU值1.09。
其他文献
神经机器翻译模型在资源丰富的语种之间具有较好的翻译效果,但是在低资源语言之间翻译效果不佳。由于缺乏大规模的平行句对,模型在处理更大的词汇量方面有一定的局限性。通常神经机器翻译系统将源语言和目标语言中的常见单词作为词汇表,不在词汇表中的单词用UNK(Unknown Words)代替,这可能会忽略较大的文本粒度所携带的信息,如:命名实体,从而会影响翻译结果的质量。对此本文提出了融入双语实体的汉越神经机
学位
农业作为中国经济发展的根基,农业机械化在其现代化中占据关键位置,所以在此种形式下,人们关注的重点聚焦到农业机械上。本文着重于水果采摘机械的前期研究工作,致力于解决其中果实识别因光线不足导致识别精确率不高的问题。文中首先对实验平台进行搭建,文中移动式平台底盘为了安全准确的在果园中行走,需对果园的环境进行建图,对果树以及障碍物位置可进行感知并避开,同时对果树上的果实,在各种光线尤其是暗光条件下需保持一
学位
运用先进的机器视觉技术能在复杂制造过程中收集产品的实时数据,随后对收集的数据进行监控,能检测出复杂制造产品表面精度的质量问题。由于机器视觉技术在复杂制造过程中收集的产品数据主要以图像数据形式呈现,所以如何对图像数据进行统计过程监控成为一个重要研究课题。本文以图像数据为监控对象,对其发生失控点和变化点情况进行了研究。由于图像样本在检测过程中会存在样本量大小以及失控图像的偏移大小不同的情况,而不同检测
学位
钢铁产业对于国家经济发展有着重要的意义。转炉炼钢技术因为相对高效和低成本的优势,是目前世界范围内主要的钢铁冶炼技术之一,其冶炼的关键在于对转炉终点的准确控制。实际上,转炉中钢液的终点碳含量和温度与转炉终点控制有着密切的联系,也是判断钢液是否达到出钢标准的重要指标。因此,实现对转炉炼钢终点碳温精确实时预报可以有效降低转炉炼钢生产成本,提高生产效率,对于保护环境、节能减排也有着积极的意义。本文针对转炉
学位
Fe-Mn-Al-C低密度高强度钢具有优异的力学性能、良好的抗冲击性以及较低的密度等优点,将成为未来汽车用钢的主要材料,是目前实施汽车轻量化目标的主要研究方向之一。但由于添加了大量的Al(高达13%)和Mn(高达32%),使得它在冶炼、锻造、微观结构和塑性变形机理等方面,与普通用钢的研发与设计存在着较大的差异,采用传统的试错法实验大大减缓了其研发进度。目前机器学习技术已经广泛地应用于材料性能预测以
学位
卷烟是一种特殊的消费品,通常要求吸食口感长期保持稳定。复烤企业作为烟草生产链的关键环节,实现对烟叶的初步加工及模块化配方打叶,对不同质量的烟叶进行协调搭配,为卷烟企业提供稳定的原材料。但在实际生产中,烟叶质量受气候、土质等因素的影响,复烤配方的波动性较大,复烤企业只得盲目备料、或出现配方中某等级单料烟库存不足的情况,导致库存压力以及资源占用大。因此,合理备料、提高资源利用率是复烤企业亟待解决的问题
学位
神经机器翻译是一种依靠数据驱动的机器翻译方法,在双语平行语料充足的语种间表现优异,但在中文-越南语这类低资源机器翻译任务中,中文-越南语的双语平行语料不足,导致中文-越南语的机器翻译的性能并不理想,如何在有限的数据中挖掘出更多的语言信息来提升机器翻译模型性能是针对低资源机器翻译的热门研究方向。当下各研究机构针对单语大规模语料设计了预训练语言模型,从大规模的单语数据中预训练语言模型通过训练能够充分学
学位
越南语新闻事件检测及共指关系识别,旨在检测出越南语新闻文本中句子级的事件信息,并在此基础上分析事件之间是否从不同的角度描述同一件真实事情。该任务目前存在相关语料匮乏、深层语义难以表征以及数据噪声问题。因此,本文基于多头注意力机制以及生成对抗网络,对越南语新闻进行深层语义挖掘与数据降噪,提升了越南语新闻的事件检测及共指关系识别的性能。论文主要工作如下。(1)越南语新闻事件检测及共指关系识别语料构建。
学位
随着中国与越南的交流越来越密切,汉语-越南语的翻译技术需求不断增长,汉语-越南语这种低资源场景下的翻译技术研究越来越好。然而现阶段研究的翻译技术,更多的是针对正式文体的使用场景,如新闻文本,官方文件等的翻译。对于非正式文体,如网络评论,口语日常对话等使用场景,在同样的翻译模型下,翻译性能明显不足。原因就是在这些场景下,经常出现不符合正常语法的表达方式——代词省略,造成句法成分缺失。这些对于人而言可
学位
多模态机器翻译是利用不同模态的信息辅助文字翻译的任务,视频引导机器翻译是一种多模态机器翻译任务,其目标是通过视频和文本的结合来产生高质量的文本翻译。随着信息技术的快速发展,视频引导机器翻已经逐渐成为人们进行跨语言交流的重要手段,也逐渐成为人工智能领域研究热点问题,在自然语言处理、多媒体和计算机视觉领域受到了很大的关注,因为它可以支撑更多的实际应用。虽然该模型已取得一定的研究成果,但仍然存在着一些待
学位