基于词平面的现代汉语高效分词方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:lxlgqm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
汉语分词是中文信息处理的一项基础性研究课题,其重要性不言而喻。虽然汉语分词相关研究已有20多年,但仍有一部分问题没有得到解决,这也是研究人员至今仍然对该课题进行研究的原因。 目前汉语分词的困惑主要是:1、分词算法要么切分速度快,而正确率较低,如最大匹配法;2、要么切分正确率较高,而切分速度较慢。针对这个两难的问题本文给出了一个基于词平面的一体化切词算法,该方法有效提高了分词的速度,同时保证切分词语的准确率。同时该算法还提出了特定领域支撑系统的方法,有效解决了农业等特定领域词汇切分出错的问题。 基于词平面的一体化切词算法对分词速度的改进主要在三个方面。这三个方面分别为:词典结构、切词算法、最短路径搜索算法。区别于以往的分词词典结构,本研究提出了双数组 Tile 的汉语词典结构,该结构有效提高了一元和二元词典的检索效率,同时降低词典的空间复杂度。在切词算法上,本研究提出了基于局部歧义词网格的切词算法,该算法可以有效过滤掉切分过程中的“碎词”,这样降低了后续最短路径计算的工作量。在最短路径搜索上,区别于以往采用的Dijkstra最短路径搜索算法,本研究采用了基于斐波那契堆的最短路径搜索算法。 关于本研究所提的每部分都有相关对比实验,通过这些对比实验来验证本文所提方法的有效性。最后本研究提出了一些需要进一步深入研究的方向。
其他文献
糜子是群众生活中不可缺少的一种粮食作物。但我社各生产队,多数把糜子种在上茬。实践证明,春播糜子在出穗、灌浆、度粒时期往往赶上雨季,日照不足,所以出现长脖子、秃尖子
我是泗阳县植棉干部。几年来我最关心的是棉花脱落问题。因为一年的辛苦劳动,往往最后碰到的是蕾铃的大量脱落。对这个问题我曾两次去湖北,并在本省兄弟棉区以及本地区进行
【摘要】如何适应新时期教育发展要求,增强班主任领导艺术水平,使得学生真正从内心佩服,从而以班主任为龙头,带动整个班级积极向上,真正落实一切为了学生发展这个新课改理念,已经成了教育工作者研究的热门话题。  【关键词】新课程改革 班主任工作 创新  【中图分类号】G635.1【文献标识码】A 【文章编号】2095-3089(2015)02-0188-01  班级管理是学校管理的重要环节,同时也是对学生
一、雄性不育系的繁殖 1.不育系(母本)和保持系(父本)的播种 父母本同期播种,秧龄30—50天。母本秧田每亩下种40—50斤,父本下种30—35斤。 2.移栽及栽插方式 父母本同期移栽
【摘要】班级是学校工作的一个基本单位,是学生学习生活的基本组织。班主任是班集体的组织者和教育者,是学生德、智、体、美诸多方面发展的指导者。班主任在有效地进行班级管理的过程中,应注意科学与艺术的结合,确立以人为本,以学生为本的现代教育管理思想,在班级管理中注重施策,潜移默化地培育学生的自我教育与管理能力。  【关键词】班主任 班级管理 教育策略 探微  【中图分类号】G625.1【文献标识码】A 【
打浆度是制浆造纸生产过程中重要的物理量,打浆过程是不可缺少的重要环节,很大程度上决定了最终的成纸质量。造纸所用的浆料需要通过打浆的机械作用,使浆料获得一些特定的性质,以
)  【摘要】随着新课改的推进,老师也更加认识到了小学科学的重要性,对其教学效率提高也更重视,但是就目前而言,我国很多小学在进行科学教学的时候存在的弊端是比较多的,比如说教学方法单一,学生的学习积极性很难调动,课堂教学的效率也非常的低下,所以,老师必须有针对性的采取措施,提高学生的学习兴趣,让其更好的进行小学科学学習。  【关键词】小学 科学教学 课堂效率 对策  【中图分类号】G42【文献标识码
【摘要】提高班级管理的实效性,形成优良的班风,对学生有着潜移默化的影响力和巨大的感召力以及教育力,对学生的成长起着极为重要的作用,同时也是提高学生成绩水平的根本保证。  【关键词】班级管理 班风建设  【中图分类号】G635【文献标识码】A 【文章编号】2095-3089(2015)02-0190-01  一个班级管理得好,就能使班集体具有良好的导向功能,使学生在与班集体的交互作用下产生正面的体验
随着国家和社会的发展,人口老龄化趋势正在日益加重。此外,伴随着独生子女增加,传统的家庭养老模式也面临很大的挑战。当前,慢性病和老年痴呆症患者有1000多万,他们急需社会养老和社会服务,而目前的医院和福利机构难以满足当下的需求,因此如何实现老年人的日常健康监护成为一个亟待解决的问题。本文以自行设计的生理参数采集器为基础,通过对所采集的心电、肌电和呼吸信号进行数据的分析和处理,进而在采集终端上进行相应
在暖通空调系统中,各种输入、输出参数都可以检测故障源参考量。即通过对各个参数的监测从而判断系统工作是否正常。设计此仪表的目的是为了监测暖通空调系统中液体循环加热与