论文部分内容阅读
本文对大数据Map-Reduce运行框架能耗优化算法进行研究与讨论。首先对Map-Reduce框架的特点、运行流程、工作原理进行介绍和分析,掌握了工作原理以后利用BP神经网络算法针对Map-Reduce运行参数的配置修改达到系统能耗优化的目的,并且通过基于CPU利用率的能耗监测模型,来验证优化效果。主要工作分为以下三个方面:第一:分析Map-Reduce运行流程,对比其他学者的研究,提出了基于CPU利用率的Map-Reduce能耗监测模型。能耗优化的实现,首先要对并行计算Map-Reduce框架在运算过程中产生的能耗做出合理的估算。对比之前学者们的研究,我们可以发现云计算环境下能耗监测模型建立的主流方法通常为:基于CPU利用率估算的能耗模型。这里通过对Map-Reduce能耗模型的运行流程和工作原理分析,结合运行过程中CPU利用率的变化趋势,成功推导出能耗情况与CPU利用率之间的关系。并且提出了基于CPU利用率的Map-Reduce运行能耗监测模型。第二:通过对BP神经网络算法的研究,分析了BP神经网络在Map-Reduce框架能耗优化的几大优势,并从各个角度考虑对BP算法的优化细节。能耗优化算法的选择,通过对BP神经网络的介绍及特点分析,在确定利用BP神经网络来具体优化Map-Reduce运行能耗的基础上,对原始BP神经网络进行优化改造,一是对BP神经网络结构参数进行细节调优;二是结合机器学习算法优化原生BP神经网络。从而达到最适合Map-Reduce框架的版本。第三:针对Map-Reduce运行能耗的分析,提出了两种基于BP神经网络的能耗优化模型。并通过实验证明。优化模型的验证,确定最优的运行参数调整能够达到能耗优化的目的,本文尝试以机器学习结合下的BP神经网络配合Map-Reduce运行框架建立能耗优化模型,根据运算任务量、系统运行参数以及Map-Reduce产生的能耗数据的作为样本训练BP神经网络,训练完成后使Map-Reduce能耗优化模型能够迅速根据输入数据规模调整最适运行参数配置。达到能耗优化的目的。并且建立实验,对比能耗优化效果。