【摘 要】
:
自动分词是中文信息处理的基础课题之一。现有的分词软件和技术主要是针对现代汉语新闻科技等较为规范的文本,对于其他领域汉语文本处理能力较差。如何减少系统对先验知识的依
论文部分内容阅读
自动分词是中文信息处理的基础课题之一。现有的分词软件和技术主要是针对现代汉语新闻科技等较为规范的文本,对于其他领域汉语文本处理能力较差。如何减少系统对先验知识的依赖,面向不同领域文本、不同分词标准进行分词,无论是从实际的需要还是从理论和技术上看,都是亟需解决的问题。
本文提出了面向中文陌生文本的人机交互式分词方法,在没有分词底表和训练语料等语言知识的条件下,由系统自动地发现未登录词,提交给用户进行增删,不断重复此过程,反复获取文本中的词语,以得到领域词表,最后进行最大匹配法分词。
在自动获取未登录词方面,本文提出了改进的后缀数组抽取方法,能够快速高效地提取候选字串,通过互信息筛选,使得抽词精确率达到70%以上。在获取方法上,本文也尝试一改传统的单次获取全部未登录词的做法,通过阈值的控制,逐批获取未登录词。在相同的阈值条件下,获取词条的数量增加了9%,精确率提高了7%左右。
四个不同语料的实验显示,在没有人机交互的条件下,可以得到72%(F值)左右的分词精度。经过较少的人机交互,可以使分词F值提高12%以上。随着用户工作量的增加,系统还能够进一步提高分词效果。
其他文献
最近,60岁的林阿姨参加了退休职工体检,发现有早搏,医生建议她去做进一步检查,以明确诊断。她听后,有些害怕,急忙到医院就诊,医生让她做了一次24小时心电图监测,报告显示“24小时内见120个房性早搏、偶见室早”。林阿姨顿时慌了神,那么多早搏,岂不要命?谁知医生却说,没什么事,也不需要吃药。 分类:缓慢和快速两大类 心律失常,就是指心律起源部位、心搏频率与节律以及冲动传导等任何一项异常。一般
日常生活中有很多人,特别是中老年人经常反复出现头晕、头昏重、头痛等症状,且有心烦、耳鸣、急躁易怒、失眠多梦、记忆力减退、注意力不集中、健忘等情况发生,研究表明,这些都是慢性脑供血不足的结果。慢性脑供血不足是脑卒中、痴呆等疾病发生、发展过程中的重要环节,被称为危害中老年人健康的“隐形杀手”。 2/3中老年人有脑供血不足 51岁的阮女士两年前体检发现高血压,开始服降压药,因为工作忙,服用药物不
作为一种理论视野和批评方法,女性主义现已深入到社会科学研究的诸多领域,并以女性的解放和全面发展为旨归。政治、经济领域中女性地位的提高固然是女性解放的重要部分,但女性在
双音词研究是汉语词汇研究的重要课题之一,而专书双音词研究,对于展示一个时期双音词的状况更有着十分重要的意义。《庄子》是研究先秦汉语词汇的珍贵材料之一,关于它内、外、杂
不少乙肝患者一旦确诊,家中成员十分担忧其传染性,采取了极端的隔离措施,将患者置于另外一片天地,吃饭隔离、睡觉隔离、交谈隔离等等。其实,这些做法没有必要,既不合情理,也不合科学。如果对乙肝患者施行家庭隔离,对于患者来说是一次沉重的精神打击,同是一家人,却要各分东西,视同路人,情感伤害十分巨大。 从科学角度来说,隔离也没有必要。乙肝传播的确呈家族聚集特点,但是,这种聚集并非接触密切所致,乙肝的家族聚
李女士今年53岁,平时身体很好,就是偶尔突然心慌,心脏“扑通扑通”直跳。她查过了心电图,没有发现异常,她想知道,“常常感觉心慌”究竟是什么原因引起的呢? 心脏病常见症状 “心慌”是心血管疾病症状(医学上称心悸),这也是心脏病最常见的症状之一。心功能不全的患者,一活动就心跳加速,出现心悸的症状;心律失常的患者,每当心跳异常时,也出现心悸的症状。无论是心功能不全还是心律紊乱,心悸都是在