分类是将给定的数据划分到预定义的数据类中的过程,在数据挖掘和机器学习中是非常重要的一个学科分支并有着广泛的应用和研究。根据数据属于单个类还是多个类,分类分为单标签分类和多标签分类,由于多标签能更加真实的表达现实世界中的存在,其应用相对单标签而言更加广泛。目前多标签分类比较多的应用在文本分类,生物信息分类,场景分类,图像自动标注,视频剪辑等众多领域。虽然多标签应用广泛,但由于多标签内在的复杂性即标签之间存在相关性和多标签数据表达的复杂性以及输出空间的指数性,仍然需要对现有的理论和算法有进一步的研究和整合,以使多标签分类算法有进一步的改善。1、相关理论分析。首先简要介绍了单标签的相关理论;然后对多标签分类的相关理论和方法进行了详尽的阐述和分析。2、基于MLKNN(Multi-Label K-Nearest Neighbor,多标签k邻近算法)。KNN(K-Nearest Neighbor,k邻近)算法是一种简单但高效的聚类算法,有着广泛的应用,在多标签分类中也得到了一定程度的应用。在分析多标签分类算法MLKNN存在缺陷和不足的基础上,本文提出一种改进的MLKNN算法。对于每一个输入数据,利用KNN算法得出输入数据的k邻域进而求得每个数据中每个标签的先验概率和后验概率,然后得出每一个标签在数据中的最大概率。将每个数据的各个标签概率放到数据的特征向量中并以此来表示局部的标签相关性,再用带有标签概率的数据特征训练分类模型。对比实验结果验证了所提算法具有较好的多标签分类效果。3、多实例数据表示分类方法。现存的很多分类方法都只是将数据样本表示为一个实例训练分类模型进而得出未分类数据的标签,没有利用数据本身所包含的丰富的信息,鉴于此在KNN的框架下,本文提出一种基于多实例数据表示的多标签分类方法。该算法首先对于每一个输入数据,利用KNN算法得到该输入数据的k邻域,对于每一个标签,k邻域中包含该标签的所有数据的算术平均值作为对应标签的原型向量。将输入数据与该数据对应的每一个原型向量的差值作为对应标签的实例,这样原始数据将有多个实例表示,从而得到新的训练集数据。用新的训练集数据训练分类模型。对比实验结果证明了所提算法的有效性。