基于强化学习的蒙汉神经网络机器翻译的研究

来源 :内蒙古大学 | 被引量 : 7次 | 上传用户:echo1108
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,借助深度学习的飞速发展,神经网络机器翻译的研究取得了非常显著的进展。蒙汉机器翻译的研究起步较晚,平行语料规模相对较小,存在严重的数据稀疏问题。本论文将从两个方面展开研究:一、模型损失函数和译文评价指标度量方式不一致,模型训练阶段依赖真实数据分布而预测阶段依赖模型分布从而导致曝光偏差问题产生。本文引入强化学习的思想,利用不同奖励机制解决损失函数和评价指标度量方式不一致问题,通过不同的解码方式缓解曝光偏差问题;二、数据稀疏条件下模型训练困难。本文提出了一种利用蒙古语子词向量对翻译模型参数初始化的方法,并提出了一种随机添加噪声数据的数据增强方法用于增强蒙汉双语数据。具体方法如下:一、尝试在蒙汉神经网络机器翻译任务中引入强化学习的思想。设置不同级别(词语级、序列级)的奖励函数,并以不同比例线性结合奖励函数和交叉熵损失函数进行实验。实验在40%序列级奖励+60%交叉熵损失函数的设置上得到最优结果。本文还对束搜索、计划采样等解码方法进行对比,实验证明计划采样这一方法取得了更好的效果。二、提出了一种基于子词粒度的蒙古语词向量生成方法。该方法借助BPE切分算法,在大规模单语语料上生成与平行语料粒度一致的子词向量,并将该向量作为翻译模型的初始化参数。实验表明,该方法可以有效缓解由于使用不同语料训练词向量而导致的词向量在向量空间分布稀疏和词向量质量下降的问题,有效提升翻译模型质量。三、提出了一种针对蒙汉平行语料的源端数据随机添加噪声的方法,并同反向翻译这一数据增强技术进行对比实验。实验表明,针对蒙汉平行语料稀缺而采取的两种数据增强方法均可以提升蒙汉机器翻译任务的译文质量,而反向翻译技术由于引入了更多单语数据,提升更为明显。本文在CWMT2018训练集上开展实验。实验结果显示,借助子词向量作为初始化参数的蒙汉机器翻译模型较基线模型最高可以提升BLEU值1.79个百分点;基于强化学习的蒙汉神经网络机器翻译模型较基线模型最高提升BLEU值0.6个百分点;通过数据增强技术,蒙汉神经网络机器翻译的译文质量较基线结果提升BLEU值1.1个百分点。
其他文献
对 4种沥青 ( 1种常规沥青和 3种改性沥青 )进行了 2 5℃针入度、环球软化点、6 0℃粘度、高温下的标准动态剪切以及重复蠕变试验 ,对 5个指标的试验结果特别是改性沥青重复
当今社会化石能源日益枯竭,环境污染日益严重,光储一体化系统成为时代发展的必然。储能变流器是储能系统的重要组成部分,对其展开研究具有重要意义。本课题主要对基于LCL型滤
为解决应急预案在实施过程中难以有效执行,可操作性差的问题,提出了智能化预案模型.智能化预案是应急指挥系统的核心部分,主要功能是预案模型建立、任务及资源配置、执行方案
文章从传承保护的角度系统对梅庵派古琴艺术的历史背景、艺术价值、传承载体及社会影响、保护现状及思考等方面进行了系统的阐述,以更好地保护南通梅庵古琴艺术。
概述热力学相容性、工艺相容性和储存稳定性的基本概念 ,指出三者之间的关系 ;阐述影响聚合物改性沥青储存稳定性的主要因素 :溶解度参数、沥青组分、界面层、粘度和剪切速率
<正> 原“采暖通风设计经验交流会”编的《采暖通风设计手册》,1984年由中国建筑西南设计院受中国建筑工业出版社委托重新编写,经一年多的努力,已于1986年9月交稿,并更名为《
目的:选取产程中使用椎管内分娩镇痛的产妇,研究椎管内分娩镇痛与产时发热的关系;探讨椎管内分娩镇痛后出现产时发热后孕妇的分娩结局(阴道分娩、阴道助产、剖宫产术)以及新
危险废物环境风险防控是固体废物环境管理的重点,是改善环境质量的重要组成部分。危险废物管理是一个多层次、多目标、多因素互相影响的复杂过程。利用传统的管理模式,很难实
印度东北部地区是孟中印缅经济走廊覆盖的核心区域之一,也是经济走廊建设向印度方向推进无法绕开的一个重要地理单元。印度东北部地区的区位特征十分鲜明,且同时涉及印度与孟
简要介绍了LASTFIRE项目组的成立背景、组织结构、研究领域、研究目的、研究思路、研究进展等内容,总结了该项目组近几年的研究成果,指出我国的相关企业或研究机构应积极参与