基于Hadoop的全分布式存储架构研究

被引量 : 0次 | 上传用户:action005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展,人类已经进入大数据时代,数据量呈现爆炸式的增长,云计算作为解决海量数据的有效手段也越来越受到人们重视。同时,云存储作为云计算支撑性的底层服务也显得越发重要。尤其是目前最为流行的开源分布式文件系统Hadoop Distributed File System (HDFS),以其廉价、简单易部署的特点成为各大企业的首选。但是由于其自身的一些缺陷制约了HDFS的应用。本文首先研究了目前几种主流的分布式文件系统,分析了各自的特点,重点剖析了HDFS系统架构及其运行机制。HDFS采用的是主从式的架构,系统只有一个主节点,这种架构容易造成单点失效和高并发访问的性能瓶颈问题。本文针对这一问题,提出了一种去中心化全分布式架构。该架构通过将单个Namenode水平扩展为多个来解决单点失效问题。通过对元数据同步机制的深入研究,我们使用Secondary Namenode解决系统的元数据一致性问题。同时,文件采用读写分开的方式存储,对只读性文件的存储策略进行改进,采用一致性Hash存储,将部分元数据隐藏在文件名中,从而降低内存中的元数据量。同时采用文件偏移量而非固定分块方式存储文件位置,减小文件碎片。最后通过系统仿真,说明在可靠性、文件碎片、内存元数据方面所提架构比HDFS系统具有较大提升。
其他文献
采用两级混凝沉淀作为PCB综合废水处理系统的物化处理工艺,在原水pH 1~5,总铜10~100 mg/L,COD 300~1000mg/L的条件下,出水水质稳定、可靠达到pH 7~8,总铜<0.3mg/L,COD <500mg
目的评价神经外科昏迷患者采用预防性护理干预对压疮发生率的影响。方法将2015年1月—2018年4月我院神经外科收治的108例昏迷患者随机分为2组,常规组54例行常规护理,干预组54
迟缓爱德华氏菌(Edwardsiella tarda)是海水养殖鱼类中的重要病原菌,其所导致的迟缓爱德华氏菌病(edwardsiellasis)每年给海水养殖业造成巨大的经济损失。针对迟缓爱德华氏菌病
对废弃混凝土进行合理再生利用,是在混凝土领域实现可持续发展的重要途径之一。在旧路升级改造过程中,如何寻求性价比高的技术手段,以达到抑制或延缓反射裂缝出现的目的,一直以来
环介导等温扩增技术是一种新兴的核酸检测方法,利用4个特异性引物在等温条件下对目的DNA进行扩增。本研究设计了3套LAMP引物,建立了同时检测哈氏弧菌、鳗弧菌和溶藻胶弧菌的多
白斑综合征病毒(white spot syndrome virus, WSSV)是危害虾类养殖业最为严重的病原,由WSSV引起的白斑综合征(white spot syndrome,WSS)的爆发给虾类养殖业造成了严重的经济损失
本论文由文献综述与病历资料分析两部分组成。文献综述包括中医对中风病的病因病机认识及研究进展、西医对脑卒中的研究进展和名老中医经验传承研究现状三方面内容。病历资料
随着科技互联网的全面普及和网络的发展,网络开始对当今大学生的道德观念、行为方式、生活方式和心理发展等方面都产生了深远的影响,运用网络进行思想政治教育已经慢慢成为高校
粮食安全一直是我们国家农村经济的重中之重,同时它也是国民经济的基础,是国家经济安全的重要组成部分。粮食安全与否决定着国民经济其他部门发展速度,影响到我国和谐社会的建设
新课程改革后,现行中学化学课堂中总是呈现出纷繁复杂、流于形式化的教学过程,本文针对此做出了有关简约化教学的研究,并倡导在高中化学课堂中实施简约化教学。本文首先综述