【摘 要】
：
Hadoop是一种开源可靠的分布式计算框架,而MapReduce是处理超大规模数据集的编程模型。鉴于Hadoop内置的调度器不能很好地处理类别不同且有截止时间的作业的调度,提出了一种
【基金项目】
：
国家自然科学基金（61202043,61175047）资助.
论文部分内容阅读
Hadoop是一种开源可靠的分布式计算框架,而MapReduce是处理超大规模数据集的编程模型。鉴于Hadoop内置的调度器不能很好地处理类别不同且有截止时间的作业的调度,提出了一种基于作业类别和截止时间的作业调度算法。作业分为CPU密集型和I/O密集型,并根据截止时间设置优先级来实现作业的调度。实验结果表明,该算法在充分利用集群的CPU和磁盘I/O的同时,能满足作业的截止期需求,当同一时间段内截止时间相近时算法达到最优,当某一队列中作业截止时间均比另一种队列短时,算法效率最低。
其他文献
植物间互利作用的研究与探索有助于加强林业生产中的混交林建设,从而提高林分生产力。为了快速地模拟植物间互利作用下的生长情况,提出了一种利用植物间互利生长模型进行森林
本文阐述了隐性知识的内涵及图书馆隐性知识在图书馆工作中的重要性,分析了图书馆员隐性知识的开发和利用,并提出了一些有效措施,以达到更好地为教学和科研服务的目的。
概要介绍了地下室变电所通风量的计算方法,比较了换气次数法和热平衡计算方法对通风量的影响,在满足地下室变电所温、湿度要求的前提下,改善通风效果,并根据自身的设计经验,
针对传统扩频码周期短及安全性差的不足,提出混沌映射与自编码相融合的扩频码构造方法。该方法首先将Logistic混沌映射产生的序列进行同态均匀映射以获取高平衡度伪随机序列,
对心电信号序列与心血管疾病之间存在关系的探索是研究心脏病临床诊断的一类经典论题。心电图是检测心脏病的重要工具,目前已采集到长期的批量数据,对其进行处理和判别具有实
国有企业混合所有制改革是一项重大的产权制度改革,混合所有制改革的难点在于保证国有资产保值增值的同时,防止国有资产流失,同时也要保障非国有资本投入者的权益。以中国联
由于无线传感器网络结点能量受限,高效的能量节省策略成为无线传感器研究的热点技术之一。通过分析无线传感器网络各层的能量高效解决方案,给出一种基于自适应睡眠机制的无线
水文测船管理是水文事业的重要组成部分,面对水文工作的新形势、新要求,水文测船管理亟需加强。以长江水文测船为例,分析了水文测船进行精细化管理的必要性,介绍了水文测船精
针对智能车辆安检系统图像融合处理的问题，采用一种同时对图像行列进行提升的小波变换方法，在该改进的提升小波变换域中对得到的近似系数与细节系数采用不同的融合方式。在选择
为减少穿层测压钻孔施工参数的设计误差,进一步提高测压钻孔施工效率和煤层瓦斯压力测定的准确性,以河南某矿高位巷和戊8煤层相对位置为基础,建立AutoCAD图形转换模型和Excel几何计算模型,分别对测压钻孔参数进行设计。通过两个模型所设计的12个钻孔,钻孔长度最大差值为0.24 m,钻孔倾角最大差值为0.33°。现场应用结果表明:图形转换模型钻孔长度最大绝对误差为5.7 m,相对误差为7.3%;几何