文本分类中的贝叶斯特征选择

来源 :东北师范大学 | 被引量 : 3次 | 上传用户:vialli_7
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于人们获取电子文档的能力不断增强,管理这些文档的需求也不断增加,人们对文本自动分类,即将文本自动分入预先定义的类别结构中的兴趣正迅速高涨。而文本分类中的一个重要问题就是特征选择,其目的是改善分类效果、提高计算效率、或者两者兼得。由于现实中的文本数据集往往存在着类别不均衡性以及特征稀疏性等特点,因此通过衡量特征与类别结构关系的不同侧面来判断各个特征的类别性质的过滤式方法会表现得比较差。此外,它们要么仅仅选择与类别相关的特征,要么在选择相关特征之后添加一个冗余性分析步骤。显然,这样的方法是会丢失具有交互作用的特征的。本文将特征选择放在训练的过程中,通过学习的方法从一个带标签的文档集中学习类别结构属性,进而选择出最优的特征子集。我们给出了一个生成模型,通过引入一个两值“排除包含”的潜在向量来处理特征选择问题,最后使用一个高效的Metropolis搜索的方法来更新这个潜在向量。我们用边来刻画特征之间的相互关系,定义特征与类别的相关性。最后,我们将特征选择问题转换成了一个优化问题。在朴素贝叶斯结构假设下,我们给出了一个贝叶斯特征选择范例,得到了贝叶斯类别特征因子,以及考虑特征类别性质不确定性的贝叶斯特征平均分类器。在树结构假设下,我们能在选择出交互作用特征的同时消去冗余特征。通过采用多重条件独立性检验确定特征支持图,并对树结构和参数采用可分解先验之后,问题变得易于处理了。实验结果证明了本文方法的有效性。
其他文献
浪漫主义精神是在19世纪初期而形成的一种艺术理念。经过了一段时间的发展之后,成为了当时西方艺术领域的一种主流形式,对于当时的艺术家们形成了较大的思想撼动。在浪漫主义
法务会计是会计学的一个分支学科,在我国处于起步阶段。发展、完善法务会计,对于加强社会主义法制建设、促进经济发展和廉政建设都有重要意义。 Forensic accounting is a b
<环境标志产品认证技术要求>对与食物接触的陶瓷、微晶玻璃和玻璃餐具制品作了如下定义:陶瓷为由黏土及长石、石英等天然原料经混合、成形、干燥和烧制而成的耐水、耐火、坚
毕业设计是大学教学任务中最重要的实践环节,也是培养大学生综合运用大学知识解决实际问题极为重要的过程。现有毕业设计选题系统普遍通过B/S架构设计,存在机房人数受限、加
讨论了品牌及品牌生态系统的内涵,描述了品牌生态系统的结构,依据复杂适应系统(CAS)理论探讨了品牌生态系统复杂性,探讨了品牌生态系统适应复杂性对企业实施品牌战略的几点启
课堂教学的动态生成正是契合言语的本质特点。因此,语文教师应善于启发学生、诱导学生,让课堂中的言语行为和文章的言语现象融合成理想的言语发现状态,从而引领学生由言语表
随着三维硬件扫描技术和软件建模技术的不断发展,三维几何模型已经越来越常见,成为一种新的数字媒体形式,在许多领域得到广泛应用,例如:计算机动画、游戏,工业和机械设计、计
在新高考背景下,教研员面临来自课程、教师、学生、教学等多方面的挑战。北京市海淀区教师进修学校自主研制教研员专业素养标准,确定包括专业精神、专业知识和专业能力三个维
近年来,随着互联网科技在人们生活中的深入,传统的生产制造行业等都面临着巨大的变化,各个行业都在将互联网融入到自己的产业中,以提高产品的产量与质量同时增加销售量,这就
<正>智能完井工具的远程控制开关是其关键部件之一。美国Weatherford公司近期推出AutoF rac系列智能完井远程控制开关,这种开关主要应用于大位移水平井的裸眼井段完井工具之