中文文本分类中互信息特征选择方法研究

被引量 : 0次 | 上传用户:woodma
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术与网络技术的不断发展与大规模普及,人们可以获得的信息越来越多,这些信息大部分是以文本的形式存在的。如何从这些海量繁杂的文本数据中获得用户需要的有用的信息逐渐成为了人们关注的重点。文本自动分类作为处理和组织大量文本数据的关键技术,满足了人们对于内容搜索的查准、查全等方面的要求,逐渐成为了人们获取知识信息的有效手段。文本分类技术最大的难点和特点之一就是特征向量空间的高维性。特征选择作为特征向量空间降维常用的方法,由于其计算复杂度低而得到了广泛的应用。特征选择方法的好坏会直接影响文本分类的效果。许多研究表明,互信息方法是一种比较好的特征选择度量方法。互信息方法可以表示任意两个随机变量之间的统计相关性,并且具有空间转换的不变性。在文本分类中,互信息特征选择方法仍然存在以下问题:(1)互信息方法只考虑了词条在文本集合中出现的文档频率,而没有考虑词条在文本集合的各个类别中的每个文本里发生的频度问题。(2)互信息方法考虑的是词条与类别之间的相关性,而没有考虑文本词条之间的关联性。(3)由互信息方法的特征评价公式可以看出,文本集合的各个类别中的文本数量对于词条互信息值的计算也有一定的影响。部分研究学者针对互信息方法存在的问题进行了研究并提出了改进方法。谭金波等针对互信息方法没有考虑词条在文本中发生的频度问题,从局部选词的角度进行特征选择,给互信息加上了表征词条出现概率的函数,提升高频词的权重。秦进等针对文本集合的各个类别中的文本数量对词条互信息值的影响,引入了类别文本量占整个文本集的比例来进行修正,排除了当每个类别中的文本量不相等时对词条互信息值的影响。针对互信息方法存在的不足,本文通过引入类内特征频度和类内分散度两个指标,同时限定词条在文本中出现的最小词频,引入MRMR模型中的最小特征冗余度量方法,提出了一种基于文本词频的互信息特征选择度量方法。本文的另外一个工作就是,设计并实现了一个中文文本分类系统,用于文本预处理、特征选择和文本分类。也就是说该系统分为文本预处理、特征选择和文本分类三个模块,每个模块之间是相互独立并且具有统一接口的,模块之间的调用十分方便。为了验证本文所提出的基于文本词频的互信息特征选择方法的可行性与有效性,本文在中文文本分类系统上进行了对比实验。对比实验的结果表明:通过本文方法进行特征选择,得到的文本分类结果,无论从总体的查全率、查准率、Fl值还是从各个类别的查全率、查准率、F1值来看,都比使用传统的互信息特征选择方法和已有的一些改进的互信息特征选择方法进行特征选择得到的文本分类的效果有所提高,从而证明了本文所提出的互信息特征选择方法的可行性与有效性。
其他文献
自愈是智能电网的一个突出特征,自愈技术是实现电网自愈的重要保证,也是大电网实现安全运行最有力的支撑。本文在研究国内外自愈控制技术的基础上结合国内外对智能化电网的定
中国信托业自1979年恢复至今已经有三十多年的发展历程。期间,整个信托业经历了五次不同程度的治理整顿,直至2001年后《信托法》、《信托公司管理办法》和《信托公司集合资金
目前我国传媒业为应对国内外媒介市场的激烈竞争,至上世纪末期,我国传媒业掀起了以组建集团和媒介购并为主要方式的战略整合热潮。通过一系列改革,各传媒企业有了一定的经济
题目:圆形堆取料机的结构优化分析及设计YDQ800/1500.110堆取料机在已有初步设计方案的基础上,对此设计方案建模进行有限元分析,以保证该设备的设计满足该设备的强度、刚度要
景德镇制瓷历史悠久,文化底蕴深厚。景德镇以其独一无二的历史文化资源成为了举世闻名的瓷都。但是,随着改革开放以来时代进步与社会经济的快速发展,与国内其它陶瓷产区相比,
超级电容器是介于传统电容器和电池之间的新型储能元件,具有高功率输出、高充放电效率、长循环寿命等特点,在移动通讯、电动汽车等方面具有广阔的应用前景,也可以作为电子元
随着全球化国际贸易的迅速发展,港口在国际货物流通中的作用日益重要,对港口大型装卸机械结构进行监测保证安全生产具有重要的社会意义和经济意义。振弦式传感器因其稳定可靠
非线性科学自上世纪以来得到了飞速发展。将非线性理论应用于保密通信研究成为近年来信息安全研究发展的一个新方向。特别是混沌保密通信已经成为保密通信领域中研究的新热点
政治关联是世界各国经济发展过程中的一种普遍现象,它在很多国家都广泛存在,是近年来公司财务研究的热点和前沿课题。政治关联起因于政府对宏观和微观经济的干预行为,同样也
当代党员领导干部思想政治教育是党的建设的重要组成部分,是巩固党的执政基础的重要前提。当代党员领导干部是实施党的领导的决定因素,是干部队伍的中坚,是党和国家各项事务