基于最大熵模型的汉语词性标注研究

被引量 : 0次 | 上传用户:lihuihui1986712
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
词性标注是为文本中的每个词语标上正确词性的过程。它作为自然语言处理的一项基础性工作,是后续句法分析、组块分析等任务的必要准备。词性标注中出现的错误会在后续处理中被放大,影响后续处理的效果,正确的词性标注对于自然语言处理有着非常重要的意义。本文的目的是在分词的基础上,研究提高汉语词性标注准确率的方法,为后期词法分析和其它自然语言处理任务服务。最大熵模型是一种使用灵活、精确率高的统计模型。最大熵模型的一般使用方法是利用模型直接获得结果,但是通过实验发现,大约94%的词语的正确标注是最大熵模型给出的最优标注,大约3%的词语的正确标注是最大熵模型给出的次优标注。直接舍弃次优标注,就舍弃了通过最大熵模型获得的一些信息。因此可以通过一些改进手段,把这些信息也加以利用,从而提高标注精度。本文通过结合使用最大熵模型和隐马尔可夫模型、融合多个最大熵模型的标注结果、结合使用最大熵模型和CRFs构建了三个词性标注器。使用的三种词性标注方法的核心就是同时考虑最大熵模型的最优标注和次优标注。实验结果表明,通过同时考虑最大熵模型的最优标注和次优标注来改善中文词词性标注方法是有效的:三种词性标注方法相对于只使用最大熵模型,精确率分别提高0.45%、0.32%、1.53%。其中,最大熵模型结合CRFs的标注效果是最理想的。词性标注是自然语言处理过程中的一个环节,本文的研究成果可以为诸如组块识别、命名实体识别等其它自然语言处理环节服务,也可以作为实现词性标注的具体方法加入实用系统中去。
其他文献
广播剧属于听觉戏剧的范畴,因此音效设计是广播剧中的核心组成部分,对广播剧创作质量产生至关重要的影响。本文将音效设计在广播剧创作方面的作用作为研究对象,从不同的角度
会议
描述了电子政务和公共行政环境的概念,提出了二者的特点,从管理和服务职能、行政模式和组织形式、行政方法、行政决策以及行政人员等方面分析了电子政务对公共环境中公众事务
<正>一、年代记忆与校园经验《老师·好》的成功,首先得益于影片叙事表达之中所自然呈现的时代风格。而这一风格从电影的一开始就以开门见山的方式予以定调。从开篇电影就以
资产证券化在各个行业的迅速发展对资产证券化定价提出了越来越高的要求以适应不断变化的外部环境。资产证券化定价的核心问题就是要根据基础资产的未来现金流确定一个投资人
首先通过最短路算法简化了供需距离网络 ,去掉了铁路、公路等边的性质 ,使供需距离网络简化为一个供需运输价格表 .在此基础上构造了三个模型 :线性费用的网络流模型、改进的
薄壁结构在当今船舶、桥梁与建筑工程中是一种比较普遍的结构形式,通常把薄板、壳体和薄壁截面组成的结构称为薄壁结构。与其它结构形式相比,在基于满足强度要求下,薄壁结构
企业开放式创新是当前的一个热门议题。创新是企业乃至国家的立身之本,发展之源,而开放式创新作为创新的一个十分重要的领域,具有非常重要的现实意义。同时,企业开放式创新是
地方高校的最大特点是地方性,其价值定位在于立足地方,依托地方,全方位地为地方服务。地方高校服务社会的价值体系在于:增强科技创新力,服务地方物质文明建设;提高政治亲和力
青年教师作为师资队伍的重要组成部分,是新建本科院校将来的中流砥柱。本文阐述了新建本科院校青年教师成长的涵义及重要性,从职业信念、职业技能、心理素质和职称等方面分析
未来企业间的竞争将是品牌的竞争,拥有市场比拥有工厂重要的多,而拥有市场的唯一途径是拥有占主导地位国际化的品牌。品牌国际化也将是国内汽车业未来发展的主旋律,是汽车企