近邻传播聚类算法(Affinity Propagation简称AP算法)是一种新型聚类算法,它是一种基于类代表点的算法。该算法具有自动决定聚类个数以及能够处理相似关系不对称数据等优点。其基本思想是通过维护数据对象之间的相似度矩阵、吸引度矩阵以及归属度矩阵来表征两两之间的关系紧密程度,并通过不断迭代更新吸引度矩阵与归属度矩阵来筛选出具有真正代表性的数据对象,实验表明该算法在进行迭代计算时,在聚类精度相同的情况下,其迭代次数远远小于其他类型的聚类算法,从而证明该算法具有十分高效的聚类精确度,但是其缺点也很明显,即每次迭代十分耗时,因此经典近邻传播算法虽然聚类精度高,但是不具有处理海量数据的能力。针对以上问题,本文的主要工作如下:1.针对实现并行化平台选择的问题,通过对Hadoop和Spark以及各自的生态系统进行了深入的研究和分析,总结出各自所具有的特性,并对Hadoop Map Reduce与Spark各自所适应的应用场景进行了综述性的阐述。2.针对近邻传播算法不具有处理海量数据的能力,基于MapReduce平台,结合高效的聚类评价指标,研究算法并行化策略,提出了半监督的分布式近邻传播算法。首先对数据进行划分,聚类求出局部类代表点,然后综合局部类代表点和其他监督参数进行全局聚类,从而得到具有全局代表性的类代表点。实验结果表明算法有着十分良好的准确性和效率。同时,将其应用在民航超限事件上,实验表明该算法能进行有效的QAR数据分析。3.针对经典K-means算法对初始聚类中心敏感且无法处理海量数据的问题,结合近邻传播算法,提出了近邻传播算法优化的并行K-means算法。首先对上文的分布式近邻传播算法进行修改,然后运行并将结果作为K-means的初始聚类中心输入到各个集群节点,最后并行化运行K-means算法。实验结果表明,在处理大数据时,该优化算法在处理时间上具有明显的优越性。4.最后将近邻传播算法的并行化策略修改并移植到Spark平台,初步实现了基于Spark平台的分布式近邻传播算法。实验表明,该策略在Spark上仍然具有可行性。