机器翻译是人工智能和自然语言处理研究中的一个重要研究领域,其目标是通过模型将源语言的语句自动转换为目标语言的语句,且保证二者具有相同的语义信息。近年来,神经机器翻译模型成为了该任务的主流模型。该模型基于序列到序列的框架,通过编码器将源语言的语句编码为固定维度的隐藏状态向量,之后解码器依据给定的源语句隐藏状态按照自回归的方式从左至右逐字地生成目标语句。神经机器翻译模型在多种翻译任务上都取得了巨大的成功,在大多数语向上超过了基于统计机器翻译的方法,在某些特定语向上甚至可以达到与人类翻译专家相近的水平。然而,在生成目标语句时,由于神经机器翻译模型采用了自回归的解码方式,使得其解码速度较慢,成为了在现实机器翻译系统中应用时的瓶颈。为了解决这一问题,研究者提出了基于并行解码的机器翻译模型。在生成目标语句时,这种模型不再按照自回归的生成方式逐字地生成,而是在每个位置上并行地生成目标语句,因此解码速度得到了显著的提高。但与自回归模型相比,由于预测时无法利用目标单词之间的上下文信息,并行解码模型的翻译准确度较低,阻碍了其大规模的应用。针对这个问题,本文对基于并行解码的神经机器翻译模型进行了深入研究,从模型结构优化、解码算法优化以及结合预训练模型等多个方面来提升并行解码模型的翻译效果,同时保持其在解码速度上的优势:1.从模型结构的角度,本文从两个角度进行了改进。首先,由于传统并行解码模型的解码器输入是对源语句的一个拷贝,蕴含的目标语句信息较弱,因此模型无法对解码器进行较好的优化。针对这个问题,本文提出了增强解码器输入的并行解码模型。通过在词元层级和词向量层级分别引入对源语句的转换,并将转换后的结果作为解码器的输入,该模型对解码器端提供了蕴含目标语句信息的输入,从而降低了解码器的优化难度。该模型在多个机器翻译基准数据集上均大幅超过了基线并行解码模型的效果,并能保证相对于自回归模型十倍以上的解码加速比。其次,考虑到并行解码模型和自回归模型的结构基本一致,本文引入了迁移学习来利用自回归模型中蕴含的知识提升并行解码模型的效果。由于二者之间的训练模式存在差异,简单地应用迁移学习效果不佳。因此,本文提出了基于课程学习的迁移学习方法,让模型可以在二者的训练模式之间实现平滑的转变,更大程度地利用自回归模型中的信息,并最终提升了模型的翻译效果。2.从解码算法的角度,为了实现翻译质量和解码速度的平衡,本文研究了基于迭代解码的算法。并且,为了解决并行解码模型中编码器端鲁棒性差和翻译结果中容易出现重复词的问题,本文提出了基于共同掩码的模型,对编码器和解码器同时进行掩码训练,并设计了相应的损失函数和解码算法。该模型在翻译效果上可以和自回归模型相媲美,同时也能保证五倍以上的解码加速比。3.从结合预训练模型的角度,本文探索了将预训练语言模型如BERT应用到机器翻译任务上的可能性。针对预训练语言模型微调时存在的灾难性遗忘、模型不匹配以及对学习率较为敏感等问题,本文提出了基于轻量级适配器的模型。在每一层预训练模型层之后插入轻量级的适配器层,在下游任务上微调时固定预训练模型的参数,只微调适配器层的参数。结合迭代解码的并行解码算法,该模型在翻译效果上超过了传统的自回归模型,同时在解码速度上也能保证一倍以上的解码加速比。