MapReduce计算模式的性能优化设计及其应用

来源 :信息与电脑(理论版) | 被引量 : 0次 | 上传用户:king943
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算并不是一个全新的技术,它是在并行计算、虚拟化、网格计算等技术上逐步演化和发展到现在较成熟的技术水平,现已无可争议地成为计算机科学发展趋势之一。云计算自身是一种思维模式,若想要真正发挥它自身的优势,不仅需要硬件设施,还要有编程模型来支撑和实现云计算的思想。而MapReduce编程模型可以实现云计算的思想,用于不同集群上可以分布式地执行用户提交的作业,而其执行性能与容错性成为了研究的热点。本文为提高MapReduce编程模型的执行效率,提出了优化Map输出结果传输的思想。首先设置一个合并文件大小的阈值,通过Map任务所在的节点根据Map任务结束时间的同时或先后,对其多个Map任务的输出结果将进行合并,然后输出文件,但合并后的文件大小不得超过设置的阈值。这样可以有效的缩短了传输到Reduce阶段的时间,从而提高了系统的执行效率。本文对MapReduce编程模型的自身容错机制进行优化。通过引入空闲节点监测即时消息传递机制,是通过同机架上空闲的TaskTracker节点来检查其他TaskTracker节点当前的节点情况,若检测出有的TaskTracker节点的状态为失效时,该节点失效的消息会立刻被发送到JobTracker节点,而不必等待心跳周期,其他信息仍然通过心跳通信机制来向JobTracker节点推送。这样也可以缩短了发现失效节点和纠正失效节点的时间。本文将改进的MapReduce应用于创新知识云平台,在集群中设计并实现了创新知识云平台实例分类管理系统。通过实验证明,基于改进的MapReduce框架上实例分类算法的效率得到了有效的提高,从而提高了创新知识云平台实例分类管理系统的执行效率。
其他文献
脚麻(苎麻的无效分株)可以繁殖,而且第二年可以丰收。阳新县麻科所78年6月中旬用附近生产队的脚麻移栽10亩,并对其中东段4亩加强培育管理,79年头麻总产94斤,二麻总产215斤,三麻总
粮改饲是我国农业与畜牧业协调发展促进农业供给侧改革,实现贫困地区加快脱贫的重大战略决策。白酒糟等地域特色资源饲料化利用是粮改饲战略的重要补充手段。本文通过对白酒
<正>中国德育:2014年,荔湾区成立了家庭教育学院,这在全国还是第一家。据我们了解,荔湾区重视家庭教育工作,曾创下很多"第一"记录:1983年,荔湾区乐贤坊小学在全国率先成立家
知识的个性化,是指学习者把所学知识与原有经验融合起来,形成具有个人特质的知识体系的过程。这样的知识获取观对指导教师教学行为的改变,开展“真正”意义上的教与学具有重
通过对11例膝后交叉韧带(PCL),对断裂患者在关节镜下行Gore-Tex人工韧带重建PCL,对近期随访结果进行分析,随访9 ̄21个月,平均17个月。术后所有患膝不稳定症状消失。Lachman试验阴性,后抽屉试验阴性骨折关节功能良好
依据中心城市和受辐射城市并构建测度指标体系,引入城市间距离对分形模型进行改进,对我国三大都市圈中心城市的经济辐射力进行客观、全面的分析比较。研究发现:上海对半径300
目的探讨半导体激光照射配合穴位注射治疗带状疱疹后遗神经痛(post-herpetic neuralgia,PHN)的治疗效果及护理措施。方法 2009年2-10月将某院皮肤科门诊符合条件的66例PHN患者
从心理教师与班主任角色的冲突与互补,开设心理班会课指导学生优化阶段性发展,通过个别心理辅导实现特殊学生的心理学转化,开展心理素质拓展训练助力学生提升心理品质等方面
DH密钥交换协议作为传统的密钥交换协议,具有无法抵御中间人攻击的缺陷。MTI协议和STS协议在此基础上添加了认证功能,预防了中间人攻击,但这两种方案都有各自的缺陷且较为复
个性化存储需求的发展,使得存储虚拟化技术不断发展。笔者在存储虚拟化定义的基础上探讨了存储虚拟化技术,并对存储虚拟化技术进行了比较分析,以期促进存储技术的发展,提供更好的