论文部分内容阅读
电子邮件已经成为人们日常生活中通信、交流的重要手段之一,但垃圾邮件问题也日益严峻,网民平均每天收到的垃圾邮件数量已超过了正常邮件。目前经常采用的垃圾邮件过滤技术一般包括白名单与黑名单技术、规则过滤以及基于关键词匹配的内容扫描等。基于内容的垃圾邮件过滤就是从电子邮件的内容入手,使用文本分类、机器学习算法,在训练邮件集合上学习垃圾邮件分类器。垃圾邮件过滤中常用的分类方法有简单贝叶斯、k-近邻、决策树、boosting等。简单贝叶斯方法计算简便,但召回率和正确率难以提到一个更高的层次,而且不适合于增量式的反馈学习。其他的几种方法有的效果比简单贝叶斯好一些,但计算较复杂。Winnow是一种错误驱动的在线学习线性分类算法,其在线学习的特性非常适合“实时学习”的增量式反馈,本文将贝叶斯方法与winnow算法相结合,构造了一种速度快、计算简便、性能好、反馈学习方便的垃圾邮件过滤器。实验表明,该过滤方法的分类效果优于单一的贝叶斯方法或者winnow方法。本文的主要工作如下:(1)在分析了常用特征提取方法的基础上,提出了一种基于成词概率的语词特征提取方法。一次扫描待分类邮件,通过成词置信参数控制特征提取的速度与成词准确度,使其复杂度适应邮件分类算法的需要。(2)研究了现有的贝叶斯分类方法,并在此基础上设计了一种简单快速的贝叶斯MDA层过滤算法,该算法能够通过成词参数以及代价函数控制过滤敏感度,适应于不同应用环境下的过滤需求。(3)利用winnow算法的反馈学习性能较好特点,为每个用户生成一个Winnow线性分类函数。将其用于对贝叶斯一级过滤中垃圾邮件表征不强的邮件进行二次过滤,同时通过用户行为检测来判断是否误分类,并以此为依据对分类函数进行修正。以达到个性化过滤的要求。(4)设计了一个基于内容的多层过滤系统的基本框架,将其作为垃圾邮件原型过滤系统进行了模拟实验。