负载均衡的Hadoop平台调度算法研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:xiaochushang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着计算机信息技术的不断发展,数据信息在各个行业已经呈爆炸式增长。据全球互联网中心数据,截止到2020年底,全球数据量预计将达到35ZB。就像人们说的,大数据时代正式到来了。在处理海量数据的关键时刻,云计算技术随之产生,随着技术不断发展,处理大数据的云计算技术已被广泛应用于公司和企业,例如Google、Microsoft、阿里巴巴,这些公司的云计算系统大多基于一个分布式处理软件框架,即hadoop平台。Hadoop是一个安全、可靠、可并行化运行的开放式源代码框架,并且可实现对应用开发者的透明处理,用户并不需要了解hadoop底层实现细节。但毕竟云计算技术研究时间较短,技术研究还不太深入,云计算仍存在一些挑战,例如安全性,性能,资源管理,可靠性等。资源管理问题与任务调度有关,云计算任务调度是指将用户任务分配给可用资源,以改善任务的执行,提高资源利用率。因此通过改进Hadoop平台任务调度方法可以提高Hadoop平台资源利用率和整体性能。作业调度技术是hadoop平台的核心技术,它主要负责将系统中空闲资源分配给各个作业,以及控制作业执行的顺序,它对于hadoop平台计算资源分配及整体性能起着至关重要的作用。因此我们对于作业调度算法的研究具有重要意义。云计算资源的分配是基于SLA服务的,任务执行成本是任务调度算法的主要性能参数之一。另外,任务调度算法被认为是一个复杂的过程,因为它必须充分利用可用资源来执行大量任务。这就需要开发任务调度算法时应考虑许多参数,从用户的角度来看任务编译时间,成本和响应时间非常重要。而从云提供商的角度来看,资源利用率,容错能力和功耗则很重要。本文首先介绍了hadoop平台的背景、结构及hadoop核心技术;然后对单队列调度(FIFO)、容量调度(Capacity)、公平调度(Fair)三种现有的调度算法作了详尽介绍,并在此基础上对如何改进算法的不足、提高系统整体性能作了介绍,最后提出基于遗传算法(GA)的改进任务调度策略用于分配和执行应用程序的任务,以减少任务完成时间,降低执行成本,并最大限度地提高资源利用率。提出的算法的性能已经使用Cloud Sim工具包进行了评估。
其他文献
目的:观察罗红霉素和消痤汤联合治疗痤疮的临床疗效。方法:将150例痤疮患者分为罗红霉素组(A组)、中药消痤汤组(B组)、罗红霉素和消痤汤联合治疗组(C组)3组,临床观察并比较3
目的:分析基本药物在某"医药分开"试点医院的配备和使用情况。方法:分析医药分开试点前后,基本药物配备和使用变化趋势、原因、影响因素。结果:医药分开前后基本药物在医院的
综合考虑汽车盘式制动器的结构、运动学、热力学等问题,在Matlab中建立制动器时间模型,在ANSYS中建立制动器结构模型和温度场模型,通过数值分析计算进行多学科优化分析和设计
建筑小品是环境艺术设计中非常重要的组成部分。以西安大明宫效果图大赛建筑小品类优秀作品为例,着重分析中国古典文化元素在建筑小品设计中的运用,使建筑小品达到与自然环境
<正>设计意图每个幼儿时时刻刻都在与自己的身体打交道,但他们对自己的身体并没有充分的认识。因此,引导幼儿了解自己的身体,养成良好的健康行为习惯,减少意外伤害的发生,是
当代汉语诗歌在"朦胧诗"、"第三代诗人"和"70后"等不同阶段,在女性经验的书写上,大致经历了一个崛起与深化的过程。而当下最活跃的"70后"女诗人,她们的写作在反抗既存文学秩
企业内部控制制度设置的目的是保障财务报告的可靠性、业务活动的效果与效率、对适用法律法规的遵从等,但由于非对称信息的存在,致使内部控制难以完全发挥其功能,影响内部控
"宽基教育"即宽厚根基的教育。它是以发展儿童宽厚的生存与发展基础为本的教育;是面向全体、面向未来、面向社会,尊重学生主体地位,为学生创设生动、活泼、充实、丰富的环境
服装是贴近人体的一种生活用品,而服装设计又是一种具有创造性的活动。因此在服装设计中创意性和实用性两者是缺一不可的。服装的创意性和实用性是一种螺旋形上升、相互依赖
随着建筑高度的增加,结构的风荷载和风致效应更加显著,成为影响超高层建筑安全性、居住者舒适度、建筑结构造价的主要因素之一,所以对超高层建筑风荷载和效应的控制尤为重要