基于Hadoop平台的MapReduce模型任务调度算法的研究与改进

来源 :数字技术与应用 | 被引量 : 0次 | 上传用户:chendegeng1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对Hadoop平台下现有的调度算法进行分析研究。在MapReduce计算模型下,针对Reduce阶段的任务调度问题提出在异构Hadoop环境下新的调度算法,算法在最大程度上提升数据本地性的同时考虑各处理机节点的不同处理能力。对该算法进行实验和性能分析,表明该算法在减少调度时间方面有较好的表现,同时可以适用于更加符合实际的异构Hadoop机群系统中。
其他文献
随着面向对象程序设计方法的出现,对象作为该方法的核心技术,正在得到新的开发语言和新的系统架构的支持,两种开发方法存在着质的区别。本文从面向过程程序设计的结构化思想
数学文化是数学的一个重要组成部分,随着社会和教育的不断发展进步,数学文化在数学教学中的作用、地位和价值得到越来越多的专家和一线教师的重视。中学新课程标准也在强调要
建立了高效液相色谱测定咖啡粉和速溶咖啡中葫芦巴碱含量的方法。采用Waters BondPak NH2色谱柱(250 mm×4.6 mm,5μm),以甲醇-水(82∶18,v/v)为流动相,流速0.8 mL/min,检测
本文首先对目前的公众通信网和专用移动通信网在森林火灾扑救过程中开展通信所存在的不足进行了分析;对采用动态频谱共享技术,利用未使用的和未充分利用的频谱资源提升认知无线电传输信道容量,满足火场应急通信需求的可行性进行了分析;而后基于先前SD-SMSE(软判决频谱调制、频谱编码)框架的研究成果,进一步完善了Overlay、Underlay和混合Overlay/Underlay波形的解析表达式,并分别对其
变电站综合自动化是以一个配电间隔为单元,将变电站的二次设备(包括测量仪表、信号系统、继电保护、自动装置和远动装置等)经过功能的组合和优化设计,利用先进的计算机技术、现代
随着社会结构和国家治理体系的日益复杂化,现实中的政社关系和社会组织的生存环境也越来越多元化。基于广西P市Y协会及其孵化机构的个案研究发现:在我国复杂的政府组织体系和
校园网的建设是学校发展的重要设施,作为不可缺少的环境支撑着学校教育的发展,随着校园网的规模也不断扩大,校园网安全所面临的威胁不断上升,一旦出现较为严重的病毒侵入或黑