MapReduce作业调度算法研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:fa1192573654
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式计算作为一种高性能、海量存储和高可靠性的计算方式,是解决当前大规模数据集处理问题的主要手段之一。MapReduce并行分布式编程模型通过封装实现了底层细节的隐藏,大大降低了分布式计算中并行程序的编写难度,有效推进了分布式计算在大规模数据集处理方面的发展和应用。虽然现有调度算法有效提升了MapReduce的并行计算性能,但它们都是根据作业调度过程中影响任务分配优劣的某一方面因素进行的改进,存在任务分配标准单一和多作业环境下对影响作业调度的因素考虑不全面的问题,这就降低了分布式计算系统的有效资源使用率和系统的吞吐率。本文在对MapReduce作业调度进行形式化分析的基础上,针对这两个问题进行了分析研究,提出了多作业环境下基于饥饿度的MapReduce作业调度算法。使用饥饿度表示多作业环境下作业中的任务与任务服务器之间的匹配程度,通过对任务在不同任务服务上的执行成本的综合比较实现任务的快速分配,从而达到最大化系统吞吐率和最小化单个作业完成时间的目的。为了验证所提算法的可行性与有效性,本文利用基于Microsoft Visual C++6.0设计和开发的一个软件对MapReduce模型中作业的调度过程进行了仿真模拟,并以此为基础分别对算法中的任务分配模式和多作业环境下的作业调度方法设计了仿真实验。通过对实验数据的分析可以证明,在多作业环境下,相比常用的MapReduce调度算法,基于饥饿度的调度算法在降低任务的执行成本、缩短作业完成时间和提高系统吞吐率方面有着明显的优势,达到了算法设计的预期目标,从实验角度印证了论文思路的可行性。
其他文献
针对现有《数字电子技术基础》教学方法的不足,重点从教学方法、学生实践能力培养的角度出发进行改革。提出基于项目的教学法,将以往传统的以知识传授为主要特征的课程教学模
该文根据王家山煤矿四号井急倾斜煤层走向长壁大倾角综放工作面采煤机在工作面上部割煤时,滚落的煤块沿工作面滚动甚至飞蹿出前溜,易造成飞矸伤人等问题,进行了解决方案的研
法国作家帕特里克·莫迪阿诺的《暗店街》给我们展示了一个失忆者追寻自我文化身份的曲折历程。它具有莫式典型的忧郁、孤独文风,通过其惯用的现实与过去交织的叙事手法,在回
陶瓷作为广告媒体,保存时间长,纪念意义大,审美功能别具一格。这样的广告载体容易使人们接受,并根据审美功能或实用功能大小而决定保存时间的长短,好的礼品可以让它们长期放
在大多数舞蹈表演中都会应用静态造型的手法,来提升舞蹈的魅力。静态造型并不是简单的动作摆设,每一个动作都代表着不同的意义和特点,具有很强的艺术美感。同时又可以充分实
1999年从北京植物园引种红王子锦带(Weigela florida‘RedPrince’),经9a栽培试验,对其生物生态学特性、繁殖技术等进行了系统的研究。结果表明:红王子锦带抗逆性强,可露地越
<正>黄道周(1585-1646),字幼玄(又字幼平、螭若、细遵等),人称石斋先生,福建漳州漳浦县铜山深井村(今东山县)人,生于明神宗万历十三年(1585),殉节于唐王隆武二年(清顺治三年,
从国际社会人权保障的视角,剖析和检讨我国现行刑事被害人权利保护与救济现状及其局限,以社会主义法治理念为指导,从刑事程序法和刑事实体法一体化的立场,探讨如何从诉讼程序
顾客参与虚拟品牌社区中价值共创的重要性已经得到广泛的认同,同时学者对其驱动因素也进行了深入的研究。但目前尚缺乏虚拟社区感对顾客参与价值共创影响的研究。本文在对相