关键词抽取的研究与实现

被引量 : 0次 | 上传用户:dingyi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关键词抽取在自动文摘、信息检索、文本分类、文本聚类等方面具有十分重要的作用。但实际中只要很少一部分文档拥有作者标注的关键词,手工添加关键词是一项繁重的工作。因此非常需要一种方法能够自动抽取关键词。许多学术期刊要求论文作者在论文的第一页列出大约5到10个关键词,而这些关键词经常是一些包含两个甚至更多词的短语,我们习惯上将其成为关键词串。而且除了论文外,其它大部分文档中的关键词也是一些短语词串,而这部分的关键词抽取是一个很难的过程。本文提出将关键词抽取分为两个问题进行处理:关键单词抽取和关键词串抽取,并设计了一种基于分离模型的关键词抽取方法。该方法针对关键单词抽取和关键词串抽取这两个问题设计不同的特征以提高抽取的准确性。本文将关键词抽取看成一个有监督学习问题,将每篇文档处理以形成一组词或词串集合,然后通过机器学习的方法对这些词或词串分类,作为关键词的正例或关键词的反例。在特征设计上,我们针对关键单词与关键词串在结构上的不同特点设计了许多特征。比如,通过互信息与词串边界参数表特征提高词串的识别率;根据关键单词与关键词串词性组合的规律,设计了一些语言学特征以提高抽取关键单词与关键词串的效果。在上述工作的基础上,我们用实验验证了基于分离模型的关键词抽取方法的有效性。实验结果表明,在特征选取相同的情况下,基于分离模型的关键词抽取方法优于基于整体模型的关键词抽取方法。另外我们还验证了针对关键单词与关键词串所设计的特征的有效性。最后我们将针对关键单词与关键词串所设计的不同特征分别添加到分离模型后所形成的关键词抽取器与著名的关键词抽取工具KEA进行了比较实验,实验结果显示,我们的关键词抽取器对于关键词的抽取效果好于KEA。
其他文献
为研究干旱区淡水湖泊人工、天然芦苇湿地土壤温室气体源汇强度及其影响因素,采用静态箱-气相色谱法,于2015年1月—12月对博斯腾湖人工和天然芦苇湿地土壤CO2、CH4和N2O通量
在分析"热线法"测定气体热导率原理的基础上,以干燥空气为例对其热导率进行了测量,用"线性外推法"进行数据处理,并用Origin7.0软件对测量结果进行了数据分析,可快捷精确地获
研究目的:剖析中国建设用地配置中不同政府失灵的成因、影响与相互关系,探索相适宜的综合性改良框架及实现路径,为国家建设用地配置优化改革提供参考。研究方法:文献研究、逻
目的:通过研究清热化瘀Ⅱ号方对急性脑缺血损伤NF-κBp65蛋白及其关键靶因子表达的影响,探讨清热化瘀Ⅱ号方对急性脑缺血损伤的防治作用及其机理。方法:课题分临床研究和实验研
纳米银具有独特的光学、电学、催化性质,而受到广泛应用。纳米银的制备方法受到了较多的关注。介绍了近年来常用制备纳米银的方法,包括物理方法、化学方法和生物还原法,概述
<正>中国与巴西均为金砖国家成员,世界上最重要的两个新兴经济体,两国的经贸关系随着双方经济的不断发展而日趋紧密。随着中国经济的持续健康发展及中国居民对农产品数量和质
现今的纪录片创作已经达到了一个非常巅峰的时期,多个电视台和制作公司都非常重视纪录片的制作,虽然纪录片制作数量不断提高,但是纪录片的质量十分参差不齐。尤其是很多的纪
对按系列设计的四十五种升角、臂宽因子和臂长等主要参量各异的四臂平面等角螺线天线进行的测试,得出了某些规律性的结果。五种天线的远场测试结果和参量分析表明,螺线天线的
教育的根本目的在于最大限度地发挥个人的潜能,在于使人内部的灵性和可能性最大限度的生成。我们的教育对象——学生,他们在学习风格、兴趣爱好、个性气质、家庭背景等方面都
<正> 日前,卫生部、国家中医药管理局联合考察团对瑞士、意大利、荷兰三国中医药发展情况进行了调研。本次考察调研工作采取发放调查问卷表,分别与我驻外使馆同志、派出医务