【摘 要】
:
【目的】通过实验对比分析,比较不同停用词表对于不同类型的文本数据的作用效果,对停用词表的构建与使用提供参考意见。【方法】选取百度停用词表、哈尔滨工业大学停用词表以
【机 构】
:
南京大学信息管理学院; 江苏省数据工程与知识服务重点实验室;
【基金项目】
:
中国地震局星火计划攻关项目“面向地震应急的空间智能决策方法研究”(项目编号:XH15019);江苏省自然科学基金项目“面向专利预警的中文文本学习研究”(项目编号:BK20130587)的研究成果之一
论文部分内容阅读
【目的】通过实验对比分析,比较不同停用词表对于不同类型的文本数据的作用效果,对停用词表的构建与使用提供参考意见。【方法】选取百度停用词表、哈尔滨工业大学停用词表以及四川大学机器智能实验室停用词表,基于三个不同语料库运用汉语分词技术、TF-IDF特征评估函数以及VSM模型进行文本处理,并且采用Java编写的K-means算法进行聚类实验,通过准确率P、召回率R和F1三个评价指标对不同聚类结果进行效果评估。【结果】不同停用词表对于不同类型的文本数据作用效果差异明显,词表的长度、内容结构是影响作用效果的直接因素,其中两字停用词作用效果最为明显。【局限】实验文本类型及数量有限,同时对于不同停用词表仅在词语数量及内容上做了简单的分析比较,未对停用词按照类别分类进行实验分析。【结论】停用词表对于文本聚类准确度有很大的影响,构建或选取适宜的中文停用词表极为重要。同时,过度增加停用词的数量并不会一直改善聚类结果。
其他文献
信息时报综合报道为了救主人,连命都可以不要。菲律宾有一头忠心耿耿的犬,因为看见主人差点被摩托车撞上,当下奋不顾身冲出马路用身体去阻挡摩托车,导致鼻子与上颚被轮子碾毁。
目前我国最终消费率到了改革开放以来的最低点,居民消费率难以有效提升是导致最终消费率持续走低的关键.居民消费率难以提升具有极为复杂的原因,有必要从平衡投资与消费关系,
协整检验和ECM模型分析表明,1990年是广东居民消费函数发生结构性变化的分界点。1990年后,居民消费增长指数对收入增长指数的弹性出现下降,边际消费倾向明显下降,ECM对消费短期波
我国有12亿多人口,这一基本国情,决定了经济发展只能走内需主导型之路.特别是1998年以来,面对国际经济环境出现的不利因素,中央明确提出把扩大内需作为宏观调控的战略方针,并
陕西咸阳化学工业有限公司600kt/a甲醇装置采用丹麦托普索公司的甲醇合成专利技术及甲醇精馏专利技术,由托普索公司提供甲醇合成系统及甲醇精馏系统的基本工艺设计,并提供专
信息化的概念起源于60年代的日本,西方社会普遍使用"信息社会"和"信息化"的概念是70年代后期才开始的。关于信息化的表述,在中国学术界和政府内部作过较长时间的研讨。1997年在首
近年来,"互联网+"逐渐走入现实,影响方方面面,对高校教学尤其是会计专业教学产生了很大的影响。本文首先阐述了互联网+背景对会计教学的冲击,进而分析了广西高校会计教学现存
思林水电站地下厂房区喀斯特管道发育,给地下厂房施工带来了一定的难度。施工中对喀斯特管道的来水采取了堵截、引排、追踪等工程处理措施,对Sj2及S64管道与溶蚀裂隙带采取了清
建立节约资源的消费模式是建设资源节约型、环境友好型社会的重要内容和途径,而生态型服务为建立这种消费模式提供了有益的启示。因为,生态型服务强调在不损害满足程度的前提下