论文部分内容阅读
极限学习机算法虽然训练速度较快，但包含了大量矩阵运算，因此其在面对大数据量时，处理效率依然缓慢。在充分研究Spark分布式数据集并行计算机制的基础上，设计了核心环节矩阵乘法的并行计算方案，并对基于Spark的极限学习机并行化算法进行了设计与实现。为方便性能比较，同时实现了基于Hadoop MapReduce的极限学习机并行化算法。实验结采表明，基于Spark的极限学习机并行化算法相比于Hadoop MapReduce版本的运行时间明显缩短，而且若处理数据量越大，Spark在效率方面的优势就越明显。