神经机器翻译模型的训练需要使用大量的平行语料,目前在结果最好的语言对上,语料规模都是千万级至亿级平行句对。但是对于大多数的语言对而言,如此大规模的平行训练语料并不存在,而单语语料的获取则相对容易。本文主要研究了如何使用单语语料来进行预训练的两种方法,并且评估了这两种预训练方法的实际性能。此外我们还提出了一种神经机器翻译模型的新结构。其基本思想是,在编码器与解码器之间添加一个转换器,用于把源语言端编码器的输出隐含状态映射到解码器端的输入隐含状态。经过平行语料的训练,实验结果显示这种添加了转换器的神经机器翻译模型,BLEU值十分接近基本的编码器-解码器神经机器翻译模型。两种使用单语语料的预训练方法,分别为单语语言模型预训练与单语翻译模型预训练。其中,单语语言模型预训练首先使用中文单语语料训练一个中文语言模型,再用英文单语语料训练一个英文语言模型。然后我们用三种组配方式把两个语言模型组配成中-英翻译模型。最后我们在中英平行语料上评测了三种组配方式的性能。单语翻译模型预训练使用的模型结构采用基本的编码器-解码器神经机器翻译模型,其区别在于语料的使用。我们没有使用平行语料,而是使用单语语料训练编码器-解码器翻译模型。然后我们使用前面提到的三种组配方式构建中英翻译模型并评测其性能。实验结果显示,在大多数情况下,经过预训练后组配的神经机器翻译模型的BLEU值均有一定提升。