文本分类系统的设计与实现

被引量 : 0次 | 上传用户:dragonlztf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机的普及以及互联网的不断发展,越来越多的电子文档堆积成了海量的数据,如何对这些海量数据进行管理以为用户快速的检索信息提供方便成为数据挖掘研究的一个核心。文本分类技术针对这个问题,提出了一系列解决方案。文本分类是一项重要的智能信息处理技术,在信息过滤、信息检索、文本数据库和数字图书馆等方面极具应用价值。本文介绍了文本分类技术及其相关算法,利用软件工程的思想设计并实现了一个文本分类系统。系统分为六个模块:(1)文本预处理模块,针对文档进行分词,停用词过滤;(2)词频统计模块,按照各种分类算法以及特征选择算法的特点统计文档中特征词的出现频率;(3)特征选择模块,实现了信息增益(IG)、互信息(Ml)、交叉熵(CE)、X-2统计四种特征选择算法;(4)权重计算模块,实现TF、TF-IDF算法;(5)分类器算法模块,实现了朴素贝叶斯(NB)和K近邻文本分类(KNN)算法;(6)分类器评价模块,实现了对分类器从查全率、查准率和F1值三个方面进行评价的机制。结合软件测试理论利用该系统进行了:KNN算法中k值对分类效果的影响,KNN算法下不同特征选择算法对分类效果的影响,NB算法与KNN算法分类效果比较这三个实验;通过这些实验对系统进行了测试,并从测试结果中得到了一些结论。
其他文献
司法裁判中的事实问题是司法上由来已久和最难解决的问题之一。事实问题的关键在于对法官据以作出裁判的事实之形成过程有一个准确的认识。传统的事实发现理论从主客二分的思
税收作为国家经济生活的重要组成部分,是随着国家的出现而出现的。国家凭借政治权力向纳税人强制收取一定的钱物,进行再分配,以维护国家机器的正常运转,维持社会生活的良性发
美国犯罪学和社会学教授萨瑟兰1939年提出的白领犯罪概念,对西方传统的局限于社会底层人群的街头犯罪或者说一般犯罪理论形成了巨大的冲击。这一概念简洁而有力的向人们揭示了
宫颈癌是女性最常见的恶性肿瘤之一,居女性生殖系统恶性肿瘤的第一位。流行病学资料显示,人乳头瘤病毒(HPV)感染是宫颈上皮内瘤和宫颈癌发生的主要原因。HPV依据其基因组核酸序
研制高性能的储氢材料是发展氢能的技术关键。本文研究以无烟煤为原料,进行脱灰和碳化预处理,制备具有特定微晶结构的碳材料,然后配入金属,在氢气气氛中进行高能球磨反应,制得性能
<正>牛蛙是北美最大的蛙类,成年体长一般在8?12厘米,最大体重可达2千克,因雄蛙的鸣声似牛而得名。由于它的后腿肉味道鲜美而被广泛地引种饲养。于1959年被引入我国广东,但此
桥墩是桥梁的主要支撑结构,其承载能力和耐久性问题直接影响到桥梁结构的整体安全。受包括自然环境、偶然冲击以及材料老化等多种因素的复杂影响,既有桥墩即使在正常运营情况
[目的]摸底耕地后备资源是实现耕地占补平衡的基础,探明耕地后备资源开发潜力可以为政府部门保障基本农田和国土整治决策提供科学依据。[方法]采用“限制性因子”评价法,综合
射频识别(RMio Frequency Identification,RFID)技术,是一种利用射频通信实现的非接触式自动识别技术。它利用射频信号的空间耦合(交变磁场或电磁场)实现无接触信息的传递,并
民事保全程序是民事诉讼中一个非常重要的组成部分,其是当事人在紧急情况下保护自己合法利益的一个非常重要的手段。但这一制度所对应的法律规范却非常少,这也造成了在现有的