面向系统扩展性优化的集群架构研究与开发

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:cyzmie
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息产业,特别是互联网的迅速发展,数据信息的产生已经进入爆炸式增长模式。选择何种计算机系统处理这些海量的数据,已经成为众多公司企业机构越来越关心的问题。其中,Hadoop集群是一个很有用的处理海量数据的工具,获得了工业界的广泛应用。在集群架构上,Hadoop系统采用了中心结构,中心节点负责管理整个集群。于是,该中心节点就成了集群的关键节点,一旦中心节点出现故障,整个集群就会停止工作。同时,当集群规模达到一定程度的时候,中心节点的处理能力就会达到极限,这时就无法扩大集群的规模,限制了集群处理能力的提高。为了克服Hadoop集群的上述缺点,本文提出了多控制点MapReduce系统,在这个系统中,拥有多个控制点,这些控制点分担着管理集群的任务,动态的管理这个集群。从而提高了集群的稳定性,为持续扩大集群规模提供了可能。本文在原Hadoop-0.20.2的基础上实现了多控制点MapReduce系统,并搭建了实验环境,验证了多控制点MapReduce系统的性能,实验证实了多控制点MapReduce系统可以减少任务运行的时间,降低控制点对cpu资源的消耗,同时这些控制点之间可以动态的管理整个集群。
其他文献
焦虑症全称焦虑性神经症,是以反复并持续的伴有焦虑、恐惧等症状和自律神经紊乱的精神障碍疾病。目前治疗焦虑的药物多存在毒副作用、成瘾性和耐受性等局限性,迫切需要寻找作
令G是有限群,b是G的块,P是b的亏群,c是b在NG(P)中的Brauer对应.Navarro猜想b和c的被Galois群的某些子群稳定的高零不可约常特征标个数相等(见[13,猜想B]).本文证明该猜想对亏
为了给藜麦增产及合理施肥过程提供理论依据,采用盆栽试验,以藜麦为试验材料,设置4个磷水平(P0、P1、P2、P3即P205含量分别为0、0.1、0.2、0.3 g/kg)和两个腐植酸水平(HA0、HA1
当前,我国正处于经济社会快速转型的多元化时代,社会阶层不断分化,矛盾问题集中凸显,特别是随着城市发展与更新带来的城市居民抗争问题也日益突显。近年来,城市规划与建设所
绿色债券作为兼具“经济效益”与“环境效益”双重属性的新型融资工具,在助推我国经济发展实现绿色转型、增加企业绿色融资渠道方面发挥了积极作用。与常规债券相比,绿色债券
本文针对占中国抗生素主导地位的第三代头孢类半合成广谱抗菌素头孢噻肟钠无菌生产工艺展开研究。面对中国药典(2010版)增加的酸溶解度检查项目;2011年7月1日又开始执行抗菌
随着网络信息化的普及,计算机成为各行业人员工作及娱乐过程中必不可少的硬件设备。而当代心理认知学研究表明,人体在以计算机为工具的工作或娱乐环境中,过长时间和过于紧张的脑力劳动将会引起不同程度的精神疲劳症状,精神疲劳是身体亚健康的一种表现形式,容易使身体免疫力下降,导致各种生理疾病的入侵。受人体自主控制的生理信号中,脉搏信号不仅能够反应心脏血流压力的变化,还包含了丰富的人体健康状态信息。因此,对脉搏信
积极探索和发展可再生新型代用燃料是缓解能源环境压力和降低我国进口石油依赖度的有效途径。聚甲氧基二甲醚(PODEn)以其高十六烷值、高含氧量、与柴油易混合和降低碳烟排放等
目前,我国城市内涝灾害严重,城市道路排水系统无法有效解决水文循环问题。内涝现象造成城市交通瘫痪,雨水长时间内积存在地表,严重影响城市居民出行。对此,国家提出“海绵城
高分散金属纳米多相催化剂由于其较高的稳定性以及优异的催化性能而受到了广泛的关注,在实际的工业生产中亦得到了广泛的应用。制备高分散、高活性且具有较高稳定性的催化剂