机器翻译人工评价和自动评价方法若干问题研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:vikdl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现今全球化时期,人们对翻译的需求越来越大,机器翻译技术飞速发展。如何准确、快速地评价翻译系统性能,已成为影响机器翻译发展的一个关键因素,对机器翻译的研究有着非常重要的意义。人工评价的准确性较高,通常用来评价翻译系统的性能;同时人工评价结果作为标准,用于评价机器翻译自动评价方法的性能。人工评价的作用和贡献不容小觑。但是,人工评价需要大量的人力、物力,而且耗时长,不能满足机器翻译技术快速发展的需求。因此,机器翻译自动评价技术以其快速、可重现性高的优势,获得越来越多的关注和研究,新的自动评价方法不断涌现。  本文对机器翻译评价中的关键问题进行探索研究。本文首先提出参考译文对人工评价影响的探索方案,确保人工评价的可靠性;其次,本文提出两种与人工评价相关性很高的机器翻译自动评价方法。主要创新如下:  1.参考译文的选择对机器翻译人工评价的影响研究  在机器翻译人工评价时,评价者通常使用参考译文取代源文,通过比较机器译文和参考译文来评价机器译文质量。由于人类语言表达的多样性,一个源文可能会有多个参考译文,它们都是源文的完美翻译,但是在选词、句法结构等方面存在差异。那么,在使用不同的参考译文作为标准时,评价者会给同一个机器译文差别很大的评分吗?  针对此问题,本文提出多角度探索参考译文是否会给机器翻译人工评价带来显著性影响的研究方案。在前人工作基础上就评价者间一致性做深入的分析实验,并使用直接评估数据探索使用参考译文带来不合理的人工评价结果的程度。不同于前人工作结论以及人的直观推测,多角度的实验均没有显示出参考译文会给人工评价带来显著性影响的证据。此研究结论,确保了使用参考译文作为标准的人工评价结果,用于下文中提出的自动评价方法的评测,能给出准确的评估结果。  2.基于深度学习的机器翻译自动评价方法  机器翻译自动评价方法通常从句子离散结构的表示入手来评价机器译文质量,比如从词汇、词性、句法等角度。近些年深度学习技术的发展,使得机器翻译自动评价可以从句子在连续空间上的表示入手来评价。因此本文提出利用神经网络学习句子的实数向量表示,进而计算机器译文和参考译文各自的实数向量表示之间的相似度来评价机器译文质量,并通过在网络中加入其他特征进一步提高网络性能。为解决目前翻译评价数据资源有限的问题,设计神经网络在训练阶段优化目标为最大化两个相似度的差:一个为质量高的机器译文和参考译文之间的相似度,另一个是质量低的机器译文和参考译文之间的相似度。实验表明,基于深度学习的自动评价方法与人工评价的相关性达到了与当年最高水平相近的结果。  3.基于融合策略的机器翻译自动评价方法  机器翻译评价发展至今,已经产生诸多从不同角度衡量机器译文质量的自动评价方法。虽然单一的自动评价方法与人工评价的相关性不够理想,但是不同的自动评价方法都从不同的角度评估机器译文,反映机器译文在不同角度上的质量。如果融合各个自动评价方法在不同角度上的评价,形成一个多角度评估机器译文质量的自动评价方法,将会更全面、准确地反映机器译文的真实质量。因此,本文提出使用机器学习算法来融合各个自动评价方法的评分,使用直接评估人工评价结果指导训练过程,形成一个与人工评价的相关性达到目前最高水平的自动评价方法。该融合评价方法,又可以作为一个通用框架,方便地应用到不同的语言对上,也可以融入任意的自动评价方法。
其他文献
近年来,由于移动通信业务的快速发展,各电信运营商积累了海量的移动通信数据,在这种情况下,基于客户的静态行为信息的客户行为分析已经不能适应快速变化的环境。如何在移动环境中
随着互联网的发展,各种类型的信息层出不穷,快速从过量的信息中找到感兴趣的内容已成为用户的迫切需求。因而,作为解决信息过载问题的有效手段,个性化推荐受到了广泛关注。个性化
建立过程管理系统的根本目的是用来支持企业管理的自动化,但现有的过程管理技术存在的问题是,它为企业规定了一套固定的运营模式,因而既不能支持决策型任务,也存在灵活性、适应性
上下文感知计算是普适计算的一个核心内容。由于上下文的类型多样、语义复杂,其数据又是经常动态变化的,因而上下文数据管理中涉及到上下文数据的建模、查询语言、上下文数据质
P2P网络(Peer to Peer,P2P网络)是一种完全分布的、合作式的自组织系统。与传统的Client/Server网络相比具有更好的扩展性,更强的健壮性。P2P网络技术使得互联网中内容容量急剧
随着语义网与本体研究的开展,本体被广泛应用到各个领域之中,越来越多的本体被构建用以表示知识与共享知识。由于不同领域问题的不同特征以及网络分布的不集中性,不同领域构建的
随着虚拟化技术在云计算环境下的广泛应用,虚拟机系统的安全问题变得越来越突出。虚拟机系统装载企业用户的应用暴露在互联网环境下运行,很显然会遭受到来自网络环境中的各种攻
计算机安全的主要目标是保障信息的保密性、完整性和可用性。如今,计算机网络几乎延伸到了世界的各个角落。网络环境中Windows操作系统主机的非法外联问题是内网安全的重要问
本文是国家863计划重大项目“水稻精准作业技术集成与应用(2006AA10A307)”中联合收割机测产系统研究的部分内容。在水稻收获测产系统中,稻谷含水率是准确计算产量的一个重要
语言是人类交际中最重要的交流工具。人类的话语在包含文字符号信息的同时,还包含了丰富的说话人感情和情绪等信息。传统语音识别主要关注于对语意文字的识别,而通过对语音信号