基于Hadoop处理小文件的优化策略

来源 :软件 | 被引量 : 0次 | 上传用户:zzp90518
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
HDFS(Hadoop Distributed File System)作为开源系统广泛地适用于各类存储服务中,具有高容错,易扩展,廉价存储等特点。然而,HDFS基于单一的服务器Name Node来处理元数据信息管理,当处理海量小文件时会造成Name Node内存过分消耗以及存储和读取性能并不理想,使Name Node成为系统瓶颈。本文提出一种基于HAR(Hadoop Archive)的优化机制来提高Name Node存储元数据信息的内存利用效率和提高读取小文件的访问效率。另外,该策略也扩展了HAR文件追
其他文献
WEB技术是当今用于平台开发的一个先进工具.本文描述了利用CGI及ASP等先进技术,实现基于WEB技术的邮件处理系统UA的设计的方法.
1985年10月15日至29日,受中国影协派遣,中国电影剧作家代表团一行八人访问日本,参加第二届中日电影文学研讨会。他们是林杉(团长)、鲁彦周、张天民、史超、苏叔阳、王一民、
我看了刘宗汉的画很高兴,也很感动。很整体,也很有新意,下了很大工夫,积数十年心血,出了一大批好作品,应该给他在学术上定位。我认为他是山东上世纪50年代诞生的“新山水画”在20世
软件实施是否科学直接关系到软件应用的成败。本文从企事业单位用户的角度,构建了用户驱动软件实施的用户干系人模型,结合软件实施瀑布模型,提出了一种用户驱动软件实施的方
根据1976年唐山7.8级地震的前兆资料,结合岩石破裂物理、震源物理、构造物理、地震前兆、地震力源、地壳结构等方面的研究结果,采用含有菱形硬包体的饱和水孔隙介质模型,数值模拟了唐山
目的:样本RNA加样量的差异是影响Northern杂交RNA分析和反转录PCR(RT-PCR)半定量分析的重要因素。因5-磷酸甘油醛脱氢酶(GAPDH)和β肌动蛋白(β-actin)mRNA水平一般相对恒定,常用于基因表达研究时样本加样量的校正。但有报道表
目的 研究分析急性脑梗死患者接受康复护理后肢体功能障碍改善情况。方法 选取我院2013年1月—2016年6月收治的120例肢体功能障碍的脑梗死患者作为研究对象,将其分成对照组和
ue*M#’#dkB4##8#”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:(100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
针对IS-95码分多址蜂窝通信系统标准,提出了一种反向信道接收机捕获单元的双dwell实现方法,分析了部分相关对系统性能的影响,并对捕获系统的虚警概率和检测做了分析。
对Oracle8的开发工具Oracle Designer和Oracle Programmer进行了深入分析,根据CASE方法的开发阶段划分,结合Oracle的开发工具提出了一套信息管理系统开发流程。