基于Web的新词语发现研究

被引量 : 0次 | 上传用户:huachao198977
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的兴起,Internet几乎进入了人们生活的各个角落,在给人们带来巨大便利的同时也不断影响着人们所使用的语言,特别是语言中的词语,越来越多的中文新词语出现在网络上,影响着人们的日常交流用语。中文新词的出现丰富了语言的色彩,同时也给词库更新、自然语言处理、词典编纂等领域带来了很多困难。鉴于当前新词语并没有一个准确的、公认的定义,如何快速、准确的查找出新词语成了一个比较麻烦的问题。本文根据语言学和词法分析中关于新词语的定义,将新词语分为词形新的词语、命名实体和意义用法发生变化的已有词语这三大类。本文主要研究的是对于词形新的词语的自动发现。从当前来看,国内外对于词形新的新词语识别研究还不多见,而且现有的研究提取的新词语一般都是限于词长或者是限于领域。本文提出了自己的方法——从互联网上采集大量的新闻网页,然后从新闻内容中提取新词语。我们的目标是从全局角度寻找在指定日期后出现的不限领域和词长的新词语。本文提出的方法实现的系统分为三个部分:网页采集、网页分析和新词语的提取。在网页采集部分用网页爬虫程序下载指定网页;网页分析部分提取网页的新闻内容和新闻日期,对内容用分词程序进行分词,重复串查找,然后将所有的词和串带上日期存入原始信息数据库;新词语提取部分根据日期将原始信息数据库分成过滤数据库和背景数据库,然后在过滤库中进行新词语的候选词的提取,再进行自动过滤,得到提取出的新词语。本文主要对重复串查找、提取新闻网页的内容和时间及新词语的提取进行了阐述,重点介绍了重复串查找的算法,结合已有算法的优点提出了自己的算法,经验证该算法具有较好的线性的空间复杂度和时间复杂度。
其他文献
目前,不仅仅河北的高速公路建设面对着引资困难的问题,甚至连全国都面临这个问题,而引发这个问题的因素,就是在现今的环境中,政府引资平台趋紧、央行实施稳健的货币政策,目前
随着我国经济的快速发展,高速公路行业也迈入蓬勃发展的时期,因此,该行业需要大批的人才。高速公路人力资源绩效考评体系的完善不仅有利于提高员工职业发展规划、促进行业更
新化方言是具有赣方言特色的湘方言点,新化方言称谓语作为方言的一个重要方面,既体现了湘方言的整体特征,又具有自己的特色。本文运用描写、分析和比较的方法对新化方言称谓
传统太阳能干燥的空气集热器热效率低,间歇性供热,强度不能维持常量,而带有储热系统的干燥装置多采用混凝土、天然沸石等通过显热储热的方式来存储热量,这种储热方式体积大,
上市公司的股权结构与公司业绩之间的关系一直是学术界讨论的话题,然而上市公司业绩不佳成为我国证券市场健康发展的障碍之一已是不争的事实。上市公司业绩亏损的原因众多,但
可转换债券是一种新的金融衍生产品,对其的研究是投资者和融资者的需要。对于可转换债券投资者来说,既可以选择持有它,要求发债公司还本付息;也可选择在特定的时间内将其转换
我国是一个地质灾害多发的国家,山体滑坡对桥梁、水利、建筑等工程的危害巨大,对其进行监测预警有十分重要的意义。我们采取了多种监测方式方法对滑坡进行监测预警,其中包括
背景原发性胆汁性肝硬化(primary biliary cirrhosis, PBC)是一种肝内进行性、非化脓性小胆管破坏伴门静脉区炎症、纤维化的自身免疫性肝病,最终可进展为肝硬化和肝衰竭而死
词语在语言使用中处于核心地位,其变化往往会带动语言的变化。新词增加、旧词产生新义,固然是社会发展的需要,但同时也是人类认知发展的需要。新词的产生是人们认识现实,反映
通过计算机网络管理,有助于整合社会资源,为人们提供更多的就业机会。针对人力资源与社会保障工作中计算机网络工程管理展开分析,明确该工作的重要性,提出提升人力资源与社会