基于Hadoop处理小文件的优化策略

来源 :软件 | 被引量 : 0次 | 上传用户:zzp90518
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
HDFS(Hadoop Distributed File System)作为开源系统广泛地适用于各类存储服务中,具有高容错,易扩展,廉价存储等特点。然而,HDFS基于单一的服务器Name Node来处理元数据信息管理,当处理海量小文件时会造成Name Node内存过分消耗以及存储和读取性能并不理想,使Name Node成为系统瓶颈。本文提出一种基于HAR(Hadoop Archive)的优化机制来提高Name Node存储元数据信息的内存利用效率和提高读取小文件的访问效率。另外,该策略也扩展了HAR文件追
其他文献
WEB技术是当今用于平台开发的一个先进工具.本文描述了利用CGI及ASP等先进技术,实现基于WEB技术的邮件处理系统UA的设计的方法.
1985年10月15日至29日,受中国影协派遣,中国电影剧作家代表团一行八人访问日本,参加第二届中日电影文学研讨会。他们是林杉(团长)、鲁彦周、张天民、史超、苏叔阳、王一民、
我看了刘宗汉的画很高兴,也很感动。很整体,也很有新意,下了很大工夫,积数十年心血,出了一大批好作品,应该给他在学术上定位。我认为他是山东上世纪50年代诞生的“新山水画”在20世
软件实施是否科学直接关系到软件应用的成败。本文从企事业单位用户的角度,构建了用户驱动软件实施的用户干系人模型,结合软件实施瀑布模型,提出了一种用户驱动软件实施的方
根据1976年唐山7.8级地震的前兆资料,结合岩石破裂物理、震源物理、构造物理、地震前兆、地震力源、地壳结构等方面的研究结果,采用含有菱形硬包体的饱和水孔隙介质模型,数值模拟了唐山
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技