分布式键值存储系统高效能数据布局技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:jishunhui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式键值存储系统是最常用的分布式存储系统之一,目前被广泛部署在大规模数据中心中。然而,大规模数据中心的能耗是一个亟待解决的问题。其中,服务器的能耗占到了整个数据中心的大部分能耗。随着网络数据量的持续增加,数据中心对服务器的需求量会越来越大。因此,服务器能耗已经成为企业数据中心的一个严重问题。目前,很多节能技术采用关闭存储设备或者服务器的方式进行节能。但是,在分布式键值存储系统中关闭服务器是极具挑战性的,因为系统可靠性可能会降低。关闭存储设备带来的可靠性问题已经成为节能研究的关注重点。另外,由于固态盘在性能和能耗方面的优势,以及基于NAND闪存的固态盘存储容量的持续增加和价格的降低,越来越多的固态盘被配置到服务器存储系统中作为缓存或者存储设备。但是,基于闪存的服务器之间的I/O负载是不均衡的,这种不均衡会导致闪存磨损不均衡。磨损不均衡会对整个键值存储集群的可靠性、性能以及寿命产生负面影响。针对基于一致性哈希的分布式键值存储系统的能耗问题,本文首先提出了GreenCHT节能技术,它包括一个分层副本放置策略和一个预测性能耗模式调节器PMS。数据对象的副本被分布到互不重叠的哈希环上而不是随机放置在哈希环的某一些节点上。这种放置策略可以通过关闭部分服务器,使得系统进入不同的能耗模式,而不会影响数据的可用性。另外,能耗模式调节器PMS能够预测I/O负载,并且根据负载的高低波动变化来相应关闭或者开启某些节点层,进入不同的能耗模式.因此,系统的性能和能耗是与系统的负载成比例的。通过关闭不同数目的节点层,系统可以切换到不同能耗模式来满足不同的能耗和性能需求,同时不会影响数据的可用性。为了解决低能耗数据布局中存在的可靠性问题,本文提出了一个分布式的Log-store来维持数据的可靠性:当一部分服务器被关闭后,所有的访问待机服务器的写请求都以一种可靠的数据布局方式被重新分布到其他活动的服务器上。这样的布局方式不仅可以保证数据的可靠性同时还能够维护写请求的并行性.即使是在低能耗状态,Log-store也可以保证副本的冗余度。当系统出现服务器宕机时,系统可以开启一层服务器并且开始数据恢复。这样,即使是在部分节点被关闭的低能耗模式下,系统仍然可以容R-1个节点出错,其中R为副本的冗余度。本文还给出了分布式Log-store处理服务器故障的具体容错方案。另外,本文提出了一个基于闪存耐久性的写转移技术称为EWO,用来均衡不同闪存服务器之间的损耗差异。由于基于数据迁移的损耗均衡算法产生了大量的额外的写请求,这些写请求会导致相当大的额外磨损,EWO的设计是利用闪存存储器异地更新的特性,通过将写请求或者更新请求在不同闪存服务器之间转移或者重定向来减少均衡过程带来的额外损耗。为了将擦除次数均匀的分布到闪存服务器上,EWO首先基于垃圾回收的频率计算出:多少写请求需要从擦除次数比较多的闪存服务器转移到擦除次数比较低的闪存服务器上,然后进行写请求重新分配或者重定向来均衡损耗。为了降低写转移操作带来的元数据开销,EWO采用了一个热切片转移策略HSO,来达到额外的损耗开销和元数据开销之间的平衡。
其他文献
公共经济学作为管理类专业的基础理论课程,在授课过程中尚存在教学方法和考核方式单一、课程设计重理论轻实践、教辅材料缺乏、案例搜集困难等问题,影响了教学质量的提高.针
在我国现阶段,企业之间的竞争是十分激烈的,也是十分残酷的.在这样的社会环境下,企业必须提高自身的实力,适应现代社会为企业带来的挑战,从而得到更好的发展.财务管理是影响
期刊
同样是电影,但是本片是动画片,情节上也跟真人版的电影毫无联系。这部基于游戏名作《生化危机》的首部全CG动画电影在内容上尽量保持了与游戏内容的一致。在美国中西部某工业城
期刊
随着计算机技术的不断发展,计算机技术在机电一体化专业中的运用也越来越普遍,这种现象不断促进了机电一体化专业的进步,所以,对计算机技术在机电一体化专业中的运用进行讨论
域外畜牧科技的引进及其本土化,是域外引进的畜牧良种、畜牧技术等适应中国的生存环境,并且融入到中国的社会、经济、文化、价值体系当中,逐渐形成有别于原生地的、具有本民族特
<正>当年的一个转念,让佳群在滑雪衣领域亮丽登场,坐稳市场一哥地位。如今将以"营销升级3.0"的理念,把深耕多年的营销与研发力度再提升,以提高商品开发的命中率。总经理颜嘉