近些年自然语言处理技术取得了长足的发展,机器翻译技术也一直受到了研究者们广泛的关注。神经机器翻译技术其翻译模型简单,可操作性强,不需要大量专家知识,成为了主流翻译模型。但其仍面临许多问题。一方面,由于依赖于神经网络在大规模语料库上训练,所以模型训练的周期都特别长;另一方面,模型在翻译效果上仍不如人意,会出现漏译,误译等情况。神经机器翻译的两个主要问题是训练周期长以及翻译效果仍不理想。针对这两个问题,在模型的编码阶段和解码阶段分别进行了改进,分别提出了基于衰减权重损失函数的模型以及基于组嵌入的自然语言处理模型:(1)提出一种基于衰减权重的损失函数模型帮助在解码阶段进行训练。传统神经机器翻译的解码过程中,通常是利用之前翻译的词作为解码器的一部分输入进行下一个词的翻译,所以序列开头的词对翻译有更大的影响。基于衰减权重的损失函数会赋予越早出现的词更大的权重进行训练,从而让模型尽可能地翻译对先出现的词。在国际口语机器翻译评测比赛(IWSLT)翻译数据集上的德英机器翻译实验表明,使用了衰减权重损失函数的模型相比于传统恒定权重损失函数,翻译的bleu score上面最多提升了 1.63%。(2)提出一种基于组嵌入的编码器模型。传统自然语言模型的输入为每个词的词向量,这些输入只能携带训练语料之内的信息。组嵌入模型可以将训练语料之外的语言学信息额外作为编码器的一部分输入,从而更好地指导模型进行学习。英德机器翻译的实验结果表明,使用了组嵌入的模型与只使用词向量进行编码的模型相比,达到最优的训练收敛时间缩短了 35.29%。组嵌入的思想能在任何只要输入是词向量的模型中进行应用。在情感分析和命名实体识别等其他任务上的实验结果显示,组嵌入模型也都能有效地提升收敛速率或识别精度,表明组嵌入的方法对自然语言处理任务具有普适性。