【摘 要】
：
随着＂大数据＂时代的到来,Hadoop等大数据处理平台也应运而生。但其存储载体——Hadoop分布式文件系统却在海量小文件存储方面存在着很大缺陷,存储海量小文件会导致整个集群的负
【机 构】
：
哈尔滨工业大学计算机科学与技术学院
论文部分内容阅读
随着＂大数据＂时代的到来,Hadoop等大数据处理平台也应运而生。但其存储载体——Hadoop分布式文件系统却在海量小文件存储方面存在着很大缺陷,存储海量小文件会导致整个集群的负载增高、运行效率下降。为了解决这一针对小文件的存储缺陷,通常的方法是将小文件进行合并,将合并后的大文件进行存储,但以往方法并未将文件体积大小分布加以利用,未能进一步提升小文件合并效果。本文提出一种基于数据块平衡的小文件合并算法,优化合并后的大文件体积分布,有效降低HDFS数据分块,从而减少集群主节点内存消耗、降低负载,使数据处理过
其他文献
目的对两种分娩方式对新生儿质量的影响进行比较。方法选取我院2010年8月～2011年8月分娩的92例新生儿为研究对象。依分娩方式不同将其分为两组,每组46例。阴道分娩的新生儿为
在初中英语教学中,对学生英语写作能力的培养尤为重要。那么如何使学生体验到写作带来的乐趣和成就感呢？教师要结合自身教学实践经验,着力提高学生写作能力。
素描由客观与主观两个方面构成，是主客观的高度统一。在设计中普遍存在两大问题，一是作品形式的空间感差，二是作品缺乏想象力两者的病根都源自素描基础的训练和认识不足。
词语是文本中的情感表达的最小单位,而词语语义的情感倾向性分析是文本情感分类的基础。利用中文情感词构建出一个基础情感词典来判断未知情感词的情感极性。本文即是在HOWNE
针对邯郸热电厂网络系统实际运行效率低于设计水平的问题,进行了网络系统优化的设计方案调整.据此,分析影响网络性能的网络拓扑结构、IP地址规划、VLAN(虚拟网络)规划、网络
本文以财务软件数据库安全与审计追踪技术为主线,通过数据库存储以及调用过程中的数据库加密来达到数据库的安全性要求。通过审计追踪技术,来解决人工审计相对繁琐而且效率不高,容易造成安全隐患,难以追查造成事故原因等问题。本系统使用Delphi7.0作为主要软件开发工具,并利用SQL Server 2000进行数据库开发与研究,最终实现对财务预结算软件的应用,并完成数据库的加密算法和审计追踪的设计,有效地提
硬膜外麻醉手术病人20例,术毕时向硬膜外腔注入0.25%布比卡因5ml 作术后镇痛治疗。结果镇痛良好(36h 以上)19例,镇痛有效(19h)1例,无一例失效。镇痛期除1例出现尿潴留外,未发
跨军兵种院校的机场后勤保障实战化联教联训活动,不但能够对机场后勤联合保障人员作战能力进行有效的培养,还能提高军人综合素质,同时也加快了任职教育改革的速度。本文主要
设计采用碱金属碳酸盐溶液和醋酸锌溶液喷洒法进行焦炭碱金属和锌富集,然后进行干燥得到富碱金属碳酸盐和醋酸锌的焦炭,并测定了焦炭的M40和M10。实验结果显示：焦炭M40升高是
介绍框架结构中加气混凝土砌块的质量通病，墙体裂缝及面层空鼓开裂的原因、防治措施。