论文部分内容阅读
本文提出并实现了一种全新的基于判别式模型和依存句法结构的树到树的统计机器翻译技术及框架,且性能堪比目前最好的基于句法的机器翻译模型。这种框架可以更灵活的利用目标语端的句法结构,以达到更好的翻译效果,这项工作为将来的统计机器翻译的研究工作提供了另一种可行的方法。和目前已有的方法不同,本文提出的方法将机器翻译任务当作目标语端的句子生成任务。使用多种特征来捕捉和学习双语端的句法结构、短语互译等信息,且首次将依存句法结构运用到了翻译规则中。本文工作所使用的判别式模型(感知机)不同于传统机器翻译中的生成式模型,可以很好的在丰富特征的基础上学习参数,提高模型的鉴别能力,这对解码过程十分重要。在训练时,首先进行双语端数据预处理工作,将双语句对中出现时间、数字、日期、人名、地名等不可枚举的词串识别出来并进行泛化和翻译。接着是对双语数据进行依存句法分析,为每一个双语句对找到两棵依存句法树。在此基础上进行词对齐训练,词对齐训练的任务是为双语句对中的词和词之间找到相互对应的关系。在词对齐信息和双语依存句法信息已知的情况下,从每一个双语句对中抽取出包含依存信息的翻译规则。然后,以双语端句法树和句法翻译规则表作为输入,在迭代式的构建目标语树的过程中,不断学习特征的权重(包括传统的短语翻译概率、语言模型、调序模型等特征,也包括本文工作特有的双语端句法树特征),这些权重最终被保存到模型中。在解码时,以源语端依存句法树作为输入,利用翻译规则转化为目标语端的依存片段,加载训练时得到的模型中的参数,这些参数会在解码时指导翻译过程,帮助解码器构建一颗目标语端的句法树。在IWSLT 2010年机器翻译评测数据上,本文所提出的方法,在性能上高于目前最优的串到树、树到树和树到串系统,略差于目前最优的短语和层次短语系统。在GEOQuery Data语料上,本系统性能超过目前最优的句法和短语系统,与目前最优的层次短语系统性能相当。