随着信息技术的发展,大量数据得以存储积累,人们进入信息爆炸时代。在大数据世界里,知识就是力量,从这种新的知识中提取规则对传统的机器学习算法来说具有很大的挑战,一方面由于数据的纷繁复杂加剧数据分析难度,比如类别不平衡问题等,另一方面是因为它们无法适应分布式平台的可扩展性要求。针对上述问题,本文做了一些工作:(1)提出了基于Spark的代价敏感C45决策树集成类别不平衡算法(Cost Sensitive C45 Decision Tree Ensemble Class Imbalance Algorithm based on Spark,CSCES)。该算法利用Spark的广播机制将所有聚合的正类样本广播到每一个分区内降低该分区的类别不平衡比率。接着所有分区并行训练C45决策树。每次迭代时,通过对分类错误和分类正确的样本赋予不同的代价,来获得下一次分类精度的提升。最后所有分区内的子分类器集成最终的分类器。实验结果证明了该算法具有一定的优越性、高效性和扩展性。(2)考虑到某些数据集中正类样本过少或者类别不平衡比率过大,本文在Spark平台上又实现了SMOTE和Tomek Link算法。SMOTE算法可以适当扩充少数类样本数量丰富决策区域。Tomek Link算法可以用来删除特征空间距离最近的且类别不同的两个样本,降低类重叠造成的过拟合风险。实验结果表明经过SMOTE和Tomek Link算法采样数据之后可以提高CSCES算法的性能。(3)在Spark平台上完成对信用卡欺诈数据的预处理及训练CSCES模型,最后取得了较好的结果。