基于集成学习的垃圾短信多级分类技术研究

来源 :电子科技大学 | 被引量 : 4次 | 上传用户:towon
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来手机短信以其廉价性和方便快捷性的特点越来越成为人们所喜爱的一种联络方式,短信的应用也从最初的人与人之间的沟通工具渐渐地扩展到了一种服务的提供方式,如航班查询、天气预报订阅等。虽然手机短信业务的爆发式增长带给人们的生活极大的便利,但是与此同时,随之而来的大量的垃圾手机短信也逐渐对人们的生活产生极大负面影响。垃圾短信的泛滥不仅干扰人们的正常生活,同时给社会稳定带来了不利影响。本文以垃圾短信过滤技术为研究对象,首先介绍了垃圾短信过滤的传统技术的基本原理,如黑白名单法、关键词过滤法和基于内容识别的机器学习法,以及它们各自的优缺点,并且着重比较了各种不同的机器学习算法对于垃圾短信的分类能力。其次,本文介绍了旨在提高短信分类的稳定性和准确性的各种集成学习多级分类方法,并且以Stacking作为我们的短信过滤系统的集成学习算法,通过实验两种集成策略,我们最终得到了一个比较有效的短信分类系统。本文的主要工作体现在如下几个方面:(1)通过实验分析比较了各种机器学习算法对垃圾短信的分类能力以及它们的优缺点。(2)提出了一种分类器训练策略,通过合并那些容易混淆的类别的数据作为训练集训练出第一级分类器,然后再将这些容易混淆的类别的数据提取出来作为另外一个训练集训练出第二级分类器,使用两级分类策略有助于分类效果的提高。(3)提出了一种基于互信息的特征选择改进算法,使用改进后的算法后取得良好的效果。(4)采用Stacking集成学习技术集成了多个基本分类器,并提出了两种集成策略,在真实数据集上相对于单个分类器提高了分类的准确性。(5)实际实现了一个垃圾短信多级分类的原型系统。(6)提出了未来对这个系统的多个改进方向。
其他文献
公开选拔领导干部,是在法律、法规的范围内,根据领导班子建设的实际需要向社会公布空缺领导职位和相应条件,实行组织推荐、群众推荐、个人自荐报名与考试、考核相结合,按照干部管理权限选拔任用领导干部的一种方法。公开选拔领导干部,是以邓小平理论为指导,适应经济体制和政治体制改革不断深化的客观要求,在干部选拔任用制度上实行的一项重大改革;是坚持党管干部原则,改进党管干部方法,坚持干部工作走群众路线的有益探索;
该文着重对城市地形进行了分类;并且较全面地阐述了城市地形的功能、特点,城市在未来战争中的地位和作用;深刻分析了城市地形对军事行动的影响,介绍了城市地形图的识别和使用
计算机网络的网络体系结构经历了从几个服务器简单对等互连、总线体系结构、环线体系结构、客户机/服务器体系结构和浏览器/服务器体系结构等发展变化,目前浏览器、WEB服务器和
企业应用系统是复杂多变的,为克服因企业需求动态变化而造成的不稳定状态,企业应用系统必须具有较强的可适应性。分布式对象技术改变了系统构成的方式,对象加入网络中并和中间件
该文在分析了现有多种网管体系的基础上,提出了一种综合网管的新框架,在此框架基础上提出抽象代理及其相关虚拟网络、抽象管理信息模型等概念.该框架在保留原有网管系统基础
随着无线网络技术的发展,无线网络正在与有线网络逐渐结合起来,形成有线链路与无线信道混合的互联互通的异构网络。一直以来,TCP(Transmission Control Protocol)协议都是为
With the growth of digital display systems in the world we try to present a digital display system with less hardware components that can be economically used i
拍卖作为一种交易方式具有悠久的历史,随着计算机在拍卖中的应用,现代科技融入了这一古老的活动,在实现拍卖现代化的同时也扩大了拍卖的应用范围.该文首先介绍了计算机在拍卖
该论文首先比较了当前主要的几种软件需求分析方法,指出其优缺点,然后分析了软件需求分析方法的发展趋势.在此基础上,提出了面向组件对象的软件需求分析方法,给出了面向组件
分布式数据挖掘的研究尚处于起步阶段,许多问题还有待于解决.其中最重要的两个问题是分布式数据挖掘系统的体系结构和挖掘算法.该论文在这两个方面进行了一些有意义的探索:先