汉语-维语双语词汇资源库构建方法研究

来源 :新疆师范大学 | 被引量 : 0次 | 上传用户:raclen4hy00
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器翻译以及汉语学习现已成为热门研究领域。词汇平行资源库构建作为机器翻译研究的基础之一,是本文研究的重点。本文结合目前流行的双语平行语料库构建方法,在此基础上提出了结构化的分段、分句、分词的汉语-维吾尔语双语平行词汇资源库构建方法。本文用爬虫程序在天山网上爬取大量汉语新闻语料,对原始语料进行除噪去重等处理,并利用分词系统进行分段、分句、分词形成结构性存储单语词汇语料库;采用机器学习方法,构建汉语-维吾尔语词汇翻译模型,将爬下来的词汇先跟20万条双语词汇语料库进行匹配,模型无法匹配的部分词汇,提交给搜索引擎模块,该模块在网上查找第三方翻译资源;查到第三方翻译资源后,采用翻译插件技术对结构性存储词汇语料进行自动翻译、对齐,形成准双语平行语料库;最后对插件翻译软件无法处理的部分采用人机互助的方式处理,形成新的标准双语平行词汇库;并使用双语词汇翻译模型,不断完善标准双语平行词汇库。本文重点研究基于插件的翻译技术,包括自动读取、翻译、对齐,写入对齐词表,自动构建双语平行词汇库。在研究过程中,利用爬虫技术、搜索引擎技术、插件技术、翻译技术解决了双语平行词汇语料库的构建问题。在双语平行词汇资源库构建过程中,以20万条汉语-维吾尔语双语词汇语料库作为模型学习的基础,使用爬虫程序在天山网上爬取的汉语新闻语料,通过汉语分词处理系统形成大量汉语词汇语料库。本研究最终以100万条汉语词汇作为研究对象,利用搜索引擎技术及插件翻译器进行对齐工作,经过对准双语平行语料库中插件翻译软件无法处理的部分采用人机互助的方式处理,不断让模型学习,实现自动对齐功能。本文利用爬虫技术、汉语分词技术,构建了比较规范的汉语单语词汇库。以汉语词汇库作为对齐对象,探索双语词典构建和插件翻译结合的双语词汇对齐模型,解决汉语-维吾尔语双语词汇对齐问题。为进一步开展短语对齐和词汇为单位的汉语-维吾尔语机器翻译系统的研究、开发提供技术及资源支撑。本文创新之处是融合爬虫技术、汉语分词处理技术、搜索引擎技术,研发插件翻译技术,实现汉语-维吾尔语双语词汇对齐模型,探索大规模汉语-维吾尔语双语词汇资源库构建方法,为下一步开展高质量的汉语-维吾尔语双语翻译模型工作提供技术、资源支撑,解决开展汉语-维吾尔语双语机器翻译中双语资源稀缺问题。
其他文献
人的现实生存境况问题是马克思以及西方马克思主义学者一直关心的重要问题,基于现时代科技日益发达的现状,人的生存境遇呈现出更为复杂且严重的问题。承继《物体系》对消费社会现象的论说逻辑,鲍德里亚将批判视角由物转向符号,运用符号学的分析方法著述《消费社会》,指认现代社会已经由生产社会向消费社会转型,人们的全部的社会生活活动都处于消费社会“符号逻辑”运行的严密控制之下,进一步澄明现代资本主义社会中人的非人化
重力坝是水利工程中最常用的主要水工建筑物之一。重力坝的抗滑稳定问题是一个古老而有普遍的问题,同时又是一个直接影响工程安全、投资、工期的重大关键技术问题。我国曾有20余座重力坝的建设均遇到此类问题的制约,如葛洲坝二江泄水闸、朱庄水库、双牌水库、大化水电站、长绍水电站、安康水电站、大黑汀水库、天生桥二级水电站、七里垅水库、恒仁水库、三峡大坝左岸厂坝、向家坝水电站等重力坝均遇到深层(浅层)抗滑稳定问题。
本文利用来自ISC数据和CEA数据中的近震和远震事件中的S波绝对走时残差对中国下方及邻边地区进行全球层析成像。相比于传统的利用相对走时残差的区域走时层析成像,考虑到了研
近年来,西方新公共服务理论传入我国并广泛传播,它把政府提供服务、对人的尊重、公共价值等理念摆在重要位置,因此大众开始重新审视政府公共服务,赋予其更高的要求。茶产业作为五峰土家族自治县的特色农产业,也是当地核心产业之一,由于受到多种主客观因素的影响,茶产业在五峰县境内并没有蓬勃发展,反而达到瓶颈期,陷入停滞。从中可以看出政府公共服务对于茶产业的发展,包括生产、加工、销售、推广等多个环节都起到至关重要
注册会计师通过对上市公司进行审计并发表审计意见,可以对该公司的财务信息的真实性做出保证。对于投资者来说事务所出具的审计意见是一个有力的参考,上市公司也会因此来规范自身的财务行为。从宏观层面来说,注册会计师的存在可以让资本市场平稳、有序地运转。因此注册会计师审计对于现代生活的发展具有十分重要的意义。然而,由于受到多种因素的限制,会计师事务所对企业审计失败的案例也频繁被曝光,给了投资者“当头一棒”,也
网络科技迅速发展,逐渐了影响人们生活的方方面面,也不可避免地改变了人们互帮互助的途径。当前越来越多的网络募捐平台如雨后春笋显露出来,人们在身患疾病、陷入困境向其他社会成员求助的场地也由“线下”转到“线上”。网络募捐平台的个人求助功能被越来越广泛的应用,不可否认网络募捐平台拓宽了社会救助的渠道,但近年来也是乱象横生。仅2019年,从德云社相声演员吴鹤臣的“诈捐”事件,到水滴筹与用户莫先生对簿公堂,再
随着嵌入式雷达信号处理领域数据量的不断增长以及人们对实时性要求的不断提升,传统的DSP处理器已经很难满足人们的需求,而FPGA凭借其超高的能耗比脱颖而出。但传统的FPGA开
全球导航卫星系统(Global Navigation Satellite System,GNSS)可以全天候、实时提供位置、速度和时间等信息,已经被广泛应用于军事、工业、交通等各个领域。保证导航卫星系统
作为现代我国医保制度能够实现长期可持续发展的重要物质以及资金支持,医疗保险基金关系着参保人员的医保权益,更关系着社会的和谐与稳定。医保基金规模的增大、覆盖范围的增加、服务能力的增强,也对医保基金监管工作提出了更高要求。本文首先介绍国内外医保基金监管现状,提出了本课题的研究目标、研究方法,通过阐释医保基金相关概念和医保监管的相关理论,引出山东省泗水县医疗保险基金监管的现状,并分别从监管政策制度不健全
不平衡数据普遍存在于实际生活中。通常,机器学习中的大多数分类算法都是假定数据集具有平衡的分布或相等的误分类代价。这些算法在面对相对复杂的不平衡数据集时,不能有效地