无垃圾回收的键值分离存储系统优化设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:siyang2003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
键值存储是现代存储系统的重要组成部分,由于LSM-tree数据结构针对磁盘的随机写做了优化,大幅度提升了键值存储系统的写性能,因此基于LSM-tree的键值存储成为主流。为了克服LSM-tree在读写操作中仍然产生较高的读写放大现象,进一步发展成为采用键值分离的键值存储系统。然而,采用键值分离的键值存储系统在更新密集型工作负载下会频繁的触发垃圾回收(GC)操作,导致其无法实现较高性能。针对上述问题,设计并实现了一个无需GC的键值分离存储系统,该系统通过对失效数据的有效管理,实现就地更新,从而消除存储过程中的垃圾回收操作,避免存储系统中有效数据的频繁重写,减少系统的写放大,提升系统的性能。首先,通过收集、管理和复用失效数据索引对失效数据实现就地更新、覆盖回收,去除GC过程,避免了由于GC而产生的开销。其次,实现失效索引管理模块,并通过构建生产者-消费者模型,对该模块进行优化,使其在系统中能够灵活高效的实现失效数据的管理、复用,为系统去除GC操作提供了基础保障。最后,通过逻辑设计为数据的就地更新写入方式提供了更新一致性的保证,同时通过增加、管理操作日志,实现了系统崩溃后的数据恢复,避免了数据丢失。测试表明,无需GC的键值分离存储系统可以有效减少系统写入量,在更新密集型工作负载下,相比于现有的键值分离的键值存储系统WiscKey和HashKV,本系统可以减少30%~50%的写入量,从而减小系统写放大。本系统去除了GC过程,使写性能得到了提升,同时,系统性能也不会受到预留空间大小和键值对数据大小的影响。
其他文献
近年来,SSD凭借其较高的读写性能及性价比,在缓存系统中发挥越来越重要的作用。通常缓存空间远小于后端存储空间,容量差距大约在一个数量级甚至更多,因此SSD缓存的写入密度(单位时间和空间的写入量)远远高于HDD后端存储的写入密度,这给保障SSD的寿命带来了巨大挑战。同时,在社交网络的工作负载下,对SSD缓存的大量写入是不必要的。例如,在某知名公司的社交图片系统中,大约61%的图片只会被访问一次,但它
现实世界中的网络无处不在,如何对越来越多、越来越庞大的网络进行高效地分析和处理在当今世界至关重要。针对网络分析的研究中存在一个关键的问题,研究怎样合理地表示网络的
房地产行业作为我国的基础产业之一,每年为国家GDP贡献了大量的收入,对拉动经济有着举足轻重的作用,房地产从90年代房改开始到如今,已经累计了大量的销售数据、客户数据、建
在目前意识下视觉认知研究中,由于研究任务的多元化和复杂化,对方法论的要求越来越高。在一些经典方法的基础上,科学家发展出一种新的方法——连续闪烁抑制范式(continuous flash suppression,简称CFS),并广泛地应用于意识下视觉认知研究。之前研究者主要是应用CFS来实现对视觉刺激的抑制,完成对意识下视觉处理过程的研究,但没有专门针对CFS本身的研究。由于研究者对CFS本身没有系
NVM等高性能存储器件的快速发展为分布式文件系统带来了数据访问性能的大幅提升,同时也为系统的数据处理能力与网络传输能力提出了新的要求。对于这一问题,RDMA技术是一个比较合适的解决方案,它能以更少的计算资源提供更强的网络传输能力。但是现有的工作往往只将RDMA传输作为系统的网络传输模块使用,并没有利用RDMA技术的特性将其与文件系统的数据处理进行有效的整合与适配。这导致了分布式文件系统网络传输层与
柔性印刷电路基板(Flexible Printed Circuit Board,FPC)是集成电路的重要组成部分,已广泛用于各种电子产品中。FPC缺陷检测可以提高制造过程中的FPC成品率,是制造商生产过程
沪港通、深港通的开通使跨境投资日趋便利。由于语言和制度等方面的差异,跨境投资涉及诸多风险。投资者教育作为投资者保护的重要手段,在中国仍存在资源不足等问题。招股书是股份公司首次公开募股时必须对外发布的文件,目的是让公众了解公司情况,同时吸引投资。当前学界基于投资者教育对招股书的研究并不多,对招股书的语用研究则更为罕见。为了丰富投资者教育内容,同时提升个人投资者对招股书的解读能力,从而更好地保护投资者
证明商标与普通商标虽同为《商标法》所规制,但二者在性质和功能等方面上皆存有差别。就普通商标而言,商标权人有权禁止任何人未经许可在同种商品上使用相同商标,或类似商品上使用与注册商标相同或近似的商标,从而导致消费者有混淆误认可能的行为。无论使用人生产销售商品的品质如何,即使品质相同甚至更优,只要未经权利人许可,就不得擅自使用。证明商标是用来标示商品原产地、原料、制造方法、质量或其他特定品质的商标,其创
目标检测技术是一种识别并定位图像中特定目标的技术,它是图像理解的一个重要环节,一直以来都是国内外学者的研究热点。随着卫星技术的发展,尤其是高分三号等卫星的发射,大量
学位