分布式存储系统小文件性能优化方案的设计与实现

来源 :北京邮电大学 | 被引量 : 3次 | 上传用户:panda_chris
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,以及近年来移动互联网技术的快速普及,互联网上产生的小文件数量呈爆发式增长,因此企业对海量小文件存储的需求也日趋迫切,但目前主流的分布式存储系统并不能满足海量小文件的存储需求。新一代分布式存储系统Ceph是进行海量小文件存储的最佳选择,它被设计成一款没有单点故障,具有高可靠性、高性能、高扩展性的系统,同时支持对象存储、文件存储、块存储等多种存储方式。Ceph能够满足海量小文件的存储需求,但其小文件存储性能却不能令人满意。因此,研究Ceph系统的小文件性能优化策略具有十分重要的研究价值和现实意义。本文分析了现有解决海量小文件存储性能问题的优化方案,特别是小文件合并方案。但是目前的小文件合并方案由于索引结构的设计缺陷,带来了小文件检索效率低、实用性差等问题。因此,本文在前人的小文件合并方案的基础上,设计了一种新的小文件合并方案,并结合缓存管理技术,实现了一套基于Ceph的小文件性能优化系统。本文主要工作归纳如下:1、研究了实际应用中海量小文件问题产生的背景以及现有解决方案。深入分析了分布式存储系统Ceph的基本架构和各个模块的主要功能。通过研究Ceph系统的读写流程,分析Ceph系统在海量小文件存储上存在的性能问题,从而提出了一套适合Ceph系统的小文件性能优化策略。2、根据海量小文件存储的特点,设计了一种小文件合并算法,该算法将小文件按照其大小和类型进行分类,再将同类型小文件合并成大文件,有效地减少了文件的数量。同时,在客户端设计了一种缓存管理算法,该算法通过文件被访问的时间间隔和访问频率来管理缓存空间,有效地提高了客户端缓存区的文件命中率。3、通过本文设计的合并算法和缓存管理算法,设计并实现了一套基于Ceph的小文件性能优化系统。本文详细论述了该系统的整体架构,分析了各个模块的设计原理以及实现过程。最后在存储实验室搭建系统的测试环境,对优化前后的系统进行读写性能对比测试,实验结果表明优化后的Ceph系统在小文件读写性能上取得了明显的提升。
其他文献
"反腐文学"是近年的书市亮点,2002年继续呈现上升势头,成为文学图书的一大焦点.各路出版社纷纷介入"反腐图书"的出版,使出浑身解数,在最短的时间里以最快的速度推出一本接一
期刊
绿色消费热的兴起使得国外众多学者开始关注绿色营销,尤其是上世纪90年代的前半期,众多文献对绿色营销涉及的各方面进行深入了研究。国外许多研究证明人口统计特征难以作为绿
地球是人类的家园,住在其他星球上的生物在我们眼中都是神秘的外星人。不过,随着世界人口越来越多,资源的消耗也越来越快,总有一天,地球上的资源会被我们用光的,到那时我们该
期刊
常州江南塑料机械厂新推出SJLS—Z90塑料挤出拉丝机组,它是在引进、吸收国外先进技术的优质配件的基础上,应用微机控制、温控仪表、变频调速装置及可控硅直流调速器等装置开发
总部位于美国的美利肯化工公司日前宣布将参加今年6月21日到24日在广州举行的中国国际橡塑展(Chinaplas 2005),该展览会是中国最大的橡塑展之一。美利肯将利用这一重要的行业
徐干的“智行”观是其“中”论思想的核心 ,它继承孔孟荀的中庸“权变”思想而有所发展 ,具有实践理性的特征、辩证法因素和方法论上的意义 ,并贯穿于其全部学说中 ,成了他认
<正> 70年代以来,利凡诺已普遍用于中期妊娠引产,但近几年来,由于医学科学发展的需要,古老的水囊引产术已被重新重视并推广应用。我院自1992年5月份开始,也大部分改用低温水
在里约奥运会上,中国有一名女运动员深受人们喜爱,她就是&#39;洪荒少女&#39;傅园慧. 傅园慧能成为明星人物,不是她拿了奥运金牌, 而是她在记者采访时, 听到自己比赛成绩后丰
印度Futura Polyesters公司成功开发PET/PTN合金,通过拉伸吹塑成型加工生产啤酒瓶。据称,该合金同纯PET比较,其阻隔性得到较大的改善,用新品树脂生产的啤酒瓶,对CO2的阻隔性比PET阻
天很闷,窗外下着大雨, 整个人就像被关在玻璃瓶中,又似离水的鱼,透不过气。天灰蒙蒙的,洒下的雨丝如同天公的眼泪,我整个人也烦躁不安。  今天,集团举行第一次模拟考(共三次),也是我人生记忆里第一次参加集团模拟考。真是头痛,不就是一次毕业考吗?还要搞什么模拟考!反正结果都是死,还不如来个痛快,现在这样折磨我们不就是拖出去枪毙5分钟再拉回来吗?弄得我们生不如死!生活在这样的炼狱之中,还不如早死早超生呢