随着深度学习的快速发展,基于神经网络的机器翻译模型性能得到快速提升,并逐步超越了传统的统计机器翻译。神经机器翻译模型主要通过“编码器-注意力-解码器”的框架建模整个翻译过程,其中注意力机制主要用于建模源端信息和目标端信息的对应关系。同时,语法知识对翻译也非常重要,可以帮助建模单词序列的语法表示,减少译文的语法错误。因此,如何改进注意力机制和融入语法先验知识两方面研究,对提升机器翻译模型的性能和翻译结果的质量具有重要意义。本文围绕对注意力机制和语法知识两个关键研究点,开展如下两项研究工作:1.基于语法分支距离的注意力神经机器翻译:传统注意力机制中,由单词的线性距离决定源词与目标词之间的翻译对应关系强弱,线性距离越小则对应关系越强。这种基于线性距离指导的注意力,仅考虑单词的线性顺序,忽略了句子的语法结构和单词间的依赖关系,导致翻译质量受到影响。本文借助句子的依赖树提出一种语法分支距离,为序列中每个单词捕获其语法分支距离序列,基于语法分支距离指导注意力共同关注与待预测目标词线性相关和语法相关的源词,显式学习单词间的长距离依赖关系,计算出更有效的,带有语法约束的上下文以预测目标词,该方法采用语法结构的同时未舍弃对顺序结构的关注,在一定程度上减少语法树自身所带噪声。在IWSLT英语到德语的翻译任务,实验结果表明提出的模型翻译结果优于其他基线注意力系统,验证了该模型的有效性。2.语法依赖度指导的语法感知注意力神经机器翻译:神经机器翻译不仅在注意力上存在计算开销,未能学习潜在语言信息等缺陷,还由于未结合语法知识,易造成了模型对句子理解和表达上下文语境不够精准,出现语法、形态、词序紊乱等问题。现有基于线性神经网络结合语法的方法,往往难以同时平衡训练效率和语法信息的足量性,目前对依赖语法的使用大多局限于定性角度,传统语法距离将依赖关系同程度量化的粗糙性,也容易出现依赖关系亲密程度与语法距离不相符情况。考虑到树型神经网络可直接学习依赖树,本文设计了一种带依赖度捕获层的树型神经网络变种来捕获树上相连单词的语法依赖度,提出两种基于语法依赖度的距离机制,最后由两类距离机制指导语法感知注意力,生成源端依赖上下文以预测目标词。在IWSLT英文到德语翻译任务上,实验表明该方法显著地提升了翻译质量,证实了语法依赖度通过补充依赖语法信息以增强注意力,从而获得更有效且丰富的上下文向量,更准确表达上下文情境。其他实验分析证明了该模型经过了仔细的参数选择和分析。本文旨在结合语法知识来改进基于注意力的神经机器翻译,两种方法都取得了不错的性能提升。