【摘 要】
:
近来,云计算技术在工业界和学术界共同推动下取得了巨大的发展,大量的云计算系统投入使用。其中,大多数的云计算系统采用Hadoop平台来开发和调度程序。Hadoop平台是一个在集
论文部分内容阅读
近来,云计算技术在工业界和学术界共同推动下取得了巨大的发展,大量的云计算系统投入使用。其中,大多数的云计算系统采用Hadoop平台来开发和调度程序。Hadoop平台是一个在集群上运行大型数据库处理应用程序的开放式源代码框架,其最大的优点就是实现了并行化对应用开发者的透明处理,应用开发者可以像开发普通程序一样来开发云计算的应用系统,至于并行化则由Hadoop底层自动完成。但是,Hadoop还是一个比较年轻的平台,发展时间较短,研究还不够深入,在很多地方还有改进的必要和可能。作业调度技术作为Hadoop平台的核心技术之一,其主要功能是对作业执行的顺序以及计算资源的分配进行控制,这直接关系到Hadoop平台的整体性能和系统资源的利用情况。但是目前这一技术尚处于基础阶段,现有的作业调度算法均存在着一些不足之处,因此,通过对现有作业调度算法的研究,改进其不足之处,对提高Hadoop平台的整体性能和系统资源的利用具有重要的意义。本文主要研究工作和贡献如下:通过广泛的文献调研,本文首先对Hadoop平台的产生的相关背景、平台架构和核心部分进行了研究;然后对Hadoop平台下的作业调度技术进行了深入的研究,在详细分析三种现有的作业调度算法-FIFO算法、公平调度算法(Fair Scheduler)和计算能力调度算法(Capacity scheduler)的产生背景、算法思想、设计思路和具体实现以及不足之处的基础上,提出了我们的基于朴素贝叶斯分类的作业调度算法,并对该算法如何解决现有算法的不足、要达到的目标、算法流程、主要组成、设计和实现等进行了详细的介绍;最后对我们的算法进行编程实现和实验验证,实验结果表明我们的算法成功地实现了预期的目标,解决了现有算法的不足,并且在性能测试中表现出色。
其他文献
目的通过检测HIV感染者不同疾病进程IL-27水平、T淋巴细胞亚群,探讨它们之间的关系,寻找疾病进程IL-27、CD4~+T和CD8~+T细胞的变化规律。方法选取HIV感染者100例作为研究对象
互联网变革了人们的生活习惯,基于互联网技术的社会网络服务(Social Network Service, SNS)正在改变人与人之间的交往模式,为获取、使用和保持个人社会资本提供了新途径。而
净利差体现了商业银行的盈利能力,但过高将不利于其业务结构转型和竞争力的提高,也不利于宏观调控。适度的净利差既有利于银行的运营效率,增强银行体系的稳定性,又能够促进经
建筑业企业已经走出国门参与国际市场竞争,但是目前中国建筑市场管理方式仍然采用粗放式管理,从业人员整体能力素质较低。中国建筑企业要想获得核心竞争优势就应该改变过去的
随着薄壁高墩预应力混凝土连续刚构桥的大量修建,桥梁施工过程中出现了不少问题,其中以温度应力引起的温度裂缝问题也尤为突出。近半个世纪以来国内外的混凝土桥梁的实践证明
目的先天性白内障(congenital cataract)是儿童第二位的致盲眼病,是出生时或出生后第一年内发生的晶状体混浊,病因复杂。大约三分之一的病例与遗传有关,三分之一患儿是环境因
近年来,随着项目管理理论和实践的不断发展,基于多项目管理的研究已经逐渐成为项目管理领域的新课题和重要研究内容,这也成为各类组织机构需要面临和解决的实际问题。国内外
水电建设项目是复杂的工程项目,自古以来都与国计民生问题息息相关,有着重大的经济效益和社会效益。因此,无论是水电建设项目的质量还是其成功完成都具有重要的意义。如何在
防水工程是建筑施工的重点环节,也是决定整个建筑工程使用寿命和应用效果的系统工程,防水工程中的任何一个环节都有可能导致质量问题。因此,本文将对建筑防水工程的发展现状
随着社会的不断进步、科技的迅速发展,现代企业间的竞争已经演变成为供应链之间的竞争,整个供应链质量状况的好坏已经在很大程度上影响着这条链上每个企业的经营状况。通过面