论文部分内容阅读
机器学习 (知识获取) 的目标是将大量数据中所隐含的知识发现出来,也就是将知识从人们难于理解、操作和使用的数据表达形式转化为便于人们理解、操作和使用的决策规则形式的表达形式。由此可以看出,机器学习过程,实质上是知识的一个形式转换过程,而不是知识的产生过程。在传统的机器学习研究中,人们都借助于部分领域先验知识,然而,在很多情况下这些先验知识(假设)不能很好地满足实际情况,而且如果人类对待研究的问题还没有很好的认识,这些方法就难以适用。数据驱动的自主式学习是研究在知识发现过程中尽量摆脱对先验知识或专家(领域)知识的依赖,由数据自主地完成知识的获取过程。
朴素贝叶斯(Naive Bayes,简称NB)由于它的简单和计算高效,并具有坚实的理论基础而得到了广泛应用。然而,朴素贝叶斯分类基于一个简单的假定:在给定分类特征条件下属性之间是相互独立的,同时认为:每个条件属性对分类特征(决策属性)的重要性是相等的。然而,在现实世界中,这种假设经常是不满足的。对此很多学者提出了加权朴素贝叶斯、选择朴素贝叶斯、树型扩张型朴素贝叶斯及贝叶斯网络等改进算法,然而这些算法均未能根据数据本身的特点实现自主式学习。
本文对数据驱动的自主式学习问题进行了较深入的研究,基于 Rough 集的属性重要性理论,分别从代数观、信息观及综合代数观和信息观的角度给出了属性权值的求解方法,提出了 AWNB (基于代数观的加权朴素贝叶斯)、IWNB (基于信息观的加权朴素贝叶斯) 和 SWNB (综合代数观和信息观的加权朴素贝叶斯)算法。此外,结合选择朴素贝叶斯和加权朴素贝叶斯思想,提出了 CIEBASLNB(基于条件信息熵的自主式朴素贝叶斯) 算法。这些算法在很大程度上去除了朴素贝叶斯分类对先验知识 (假设) 的依赖。通过在 UCI 数据集上的仿真实验,验证了所提出算法的有效性。