【摘 要】
：
MapReduce是一种处理大规模数据的并行计算模型,针对传统模型中reduce阶段各个结点负载不均衡的问题,提出一种reduce阶段负载均衡分区算法.算法将map阶段产生的中间数据划分
【机 构】
：
东北大学信息科学与工程学院,沈阳,110819
论文部分内容阅读
MapReduce是一种处理大规模数据的并行计算模型,针对传统模型中reduce阶段各个结点负载不均衡的问题,提出一种reduce阶段负载均衡分区算法.算法将map阶段产生的中间数据划分为更多的分区,减少了每个分区的工作量,每次给re-ducetask分配一个分区,reducetask完成一个分区的工作之后会继续获得新的分区,直到所有的分区都被分配完毕,实现了动态调节reducetask的负载.还改进了MapReduce的通信协议来支持算法并且设计了新的容错机制.最后,通过重写Hadoop平台内核实现了算法并进行了实验分析,结果表明,该算法在不影响MapReduce模型的情况下显著的缩短了任务的处理时间.
其他文献
12Dante系统与QoS传输原理上一期讲述了Dante时钟系统的精度,如何按照时钟精度确定主时钟位置,以及区分时钟精准度的长期精准度和短期精准度。时钟是同步数字信号传递的一个
在社会信息技术快速发展过程中,人们在实际生产生活中经常进行信息化的操作,信息化也为人们的生产生活带来了便利.但是信息技术在实际使用中还存在一定危险,为企业带来经济效
5月15日，一场由东腾渔业专业合作社主办、高明通威承办的水产养殖技术推广会在广东省云浮罗定市举行，到场养殖户仅达130余人，可却吸引了当地市政府、市农业局、市畜牧水产局的领
导致道路桥梁沉降的因素有很多,比如设计不合理、路基路面处理措施不完善等等等,基于这些因素,对道路桥梁沉降段路基路面施工技术进行分析,希望能够为相关的施工技术人员提供
我们的老祖宗喜欢就事论事,所以经验主义构成中国传统文化的特征之一。经验是实践的总结,而理论则是总结的系统化。经验固然重要,理论亦不可少。特别在高科技时代,轻视理论无
随着社会向前发展,未来人们会对机械自动化技术应用的水平提出更高的要求.当前西方发达国家已经达到了精细化生产、多样化管理、智能化决策的水平,我国的机械自动化技术水平
城市森林生态系统建设已成为林业可持续发展至关重要的环节,生态文明建设、林业的可持续发展都离不开对森林现状和发展研究.通过分析森林城市建设中存在的问题,探讨林业可持
近年来,我国经济发展迅速,公路桥梁的主体结构受到地震冲击影响后破坏严重,造成巨大的经济损失.如何选择桥梁的抗震措施是保证其经济性和高效性的关键.尽量减少地震中桥梁的