文本分类中特征选择方法的研究

来源 :西安科技大学 | 被引量 : 0次 | 上传用户:nkivy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本分类是大规模文本处理的基本功能,也是提高其他文本处理功能和质量的有效手段。通过文本分类,人们可以按类别进行文本存储、检索和进一步处理。因此,迅速有效地对文本进行分类已成为一项重要的研究课题。在文本分类中,特征空间的维数高达几万,过大的特征空间会导致样本统计特性的评估变得困难,从而降低分类器的泛化能力,因此从原始特征集中选取最具有代表性的特征是十分必要的。有效的特征选择可以提高分类任务的效率和分类性能。本文在分析典型文本分类系统的核心技术、系统结构的基础上,给出了一种基于语义概念的分析方法。语义概念分析方法可以看作是一种扩展的向量空间模型方法,其特征提取算法是通过结合Hownet对词所表示的概念,将词空间映射到概念空间,通过多义词排歧和同义词合并,达到降维的目的,并尽量达到词与词之间的正交性,将文本的关键词用更小的语义空间进行表示,使得在新生成的语义空间中的相关文本更为接近。另外,在传统TF-IDF权重计算算法的基础上,综合考虑特征词的位置、同现频率的语义因子和特征支持度、类别强度的语义概念,增强了特征对文本内容的表现和区分能力,并将综合了TF-IDF与语义因子和语义概念的权重改进算法应用到分类系统中。本文设计并实现了一个中文文本分类系统,通过实验对改进的特征选择和权重计算算法与传统统计算法进行了比较分析,实验结果表明改进的特征选择算法和权重计算算法对分类性能都有一定的提高,具有较高的精确率和召回率。
其他文献
随着多媒体信息技术和数字化图像设备的不断发展,人们可以很方便地以图像的形式获取到现实世界中的景象,越来越多的图像信息出现在人们的日常生活当中。而在日常生活中,人们对于
随着计算机软件技术的不断发展,软件体系结构和开发方式也在发生着重大改变。为了能使程序编制人员高效率地进行软件开发,研发出质量高、扩展性强、便于维护的软件产品,人们
随着Internet上信息量的飞速膨胀,使得人们在网上查找自己需要的信息变得越来越困难。虽然一些搜索引擎(如Google、百度)为人们从海量的网页中迅速查找有效信息提供了工具,但
如今,相当多的人热衷于使用社交媒体(Social media)。以Twitter为例,每天都有海量的Tweets被一遍遍地转发(RT,ReTweet),在全球迅速转播。然而,面对海量、动态、复杂且多样的
随着电力工业的迅速发展,电力系统的规模不断扩大,对继电保护测试技术有了更新更高的要求。虽然传统的继电保护测试软件能达到够实用水平,可以完成基本功能的测试,但软件很难
近年来随着互联网的发展,出现了大量的P2P系统,P2P技术也逐渐成为人们研究的热点。P2P网络研究的初衷是多媒体文件的共享,大量多媒体文件的共享带来了多媒体文件检索的需求,
本文以Rails框架和语义Web技术为主要研究内容,力图弥补传统开发框架难以对用户需求快速变更做出及时响应,以及无法满足向语义Web迁移的Web3.0愿景的不足,提出结合Rails框架
在工业生产中,各种计算机系统在不同控制领域得到了广泛应用。但是长期以来,它们之间普遍不能进行有效的通信,其中最关键的问题就是接口的不标准。OPC(OLE for Process Contr
随着信息服务业的不断发展,基于用户个性化的主动信息服务作为一个新的研究热点和一种新型的信息服务模式,得到了越来越多的关注。本论文对旅游多媒体信息主动服务系统进行了
随着多媒体技术在网络和人们生活中的广泛应用,近年来,多媒体数据库管理系统(MMDBMS)方面的研究倍受关注。多媒体类型繁多,结构复杂,语义丰富。当前已有的MMDBMS 缺乏对各种媒体