传统的分类算法的实验验证大多是在平衡数据集上进行的,而在现在的实际应用中,不平衡的数据集越来越常见,如信用卡欺诈分析、医院对患者进行自动诊断等等。传统的分类算法在这些不平衡的数据集上取得的效果都不尽人意,因此对不平衡数据集上的数据分类方法的研究具有较大的实际应用价值。本文首先介绍了传统数据分类方法以及不平衡数据集的数据分类方法。分析了特征选择的概念及特征选择的基本过程,探讨了传统的特征选择方法在不平衡数据集上所面临的一些问题。Relief算法是特征选择中的经典算法,在大量的实验研究中都证明了能够在平衡数据集上取的较好的效果。为了使得Relief算法能够更好的应对不平衡分类的问题,借鉴代价敏感的思想,在Relief算法中引入一个代价因子,提出了一种改进的Relief算法。经过在不平衡数据集上实验分析,表明改进后的Relief算法可以获得比传统的Relief算法更好的分类性能。集成学习方法是通过集成多个不同的分类器以达到更好分类性能的方法。将集成学习方法应用到不平衡分类的特征选择上,先使用抽样的方法从不平衡数据集中生成一组不同的平衡数据集,在每个数据集上使用传统的Relief算法,最后对结果进行汇总,由此提出了一种基于集成学习的特征选择算法。经过在数据集上的实验可以发现其性能要优于传统的Relief算法。