论文部分内容阅读
为了提高信任进化(MET)算法在大数据环境下的时效性,提出一种基于Spark的并行MET算法——SparkMET。采用主从式架构,由主节点进行变异、交叉、选择过程,从节点计算适应度值。针对数据倾斜问题,提出一种新的数据分区策略——LBP算法,在SparkMET计算适应度值之前,根据合适的分区标签将数据重分区。在Epinions数据集上进行的实验表明,SparkMET算法能有效提高MET算法的运算效率。