基于非易失内存的混合键值存储系统的研究与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:legna1212
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云以及移动互联网在近几年内飞速发展,各类应用对存储的读写性能与容量表现出更高的需求。非易失内存具有堪比内存的延迟与带宽,满足很多低延迟应用的需求。而非关系型数据库之中的键值系统(Key-Value,K-V),凭借高性能,强扩展性,使用灵活等诸多优势,在业界受到研究者的青睐。日志结构合并树(Log-Structure merge tree,LSM-Tree)是KV存储系统普遍采用的索引结构,通过将随机写入过程转化为顺序写入,大幅提高了写入的带宽。然而,多层数据的合并引入了大量额外的读写,阻碍正常写入过程的同时,增加了闪存介质损坏的风险,因而研究基于非易失内存的键值存储系统具有重要的意义。基于LSM的分层思想,应用非必要元数据分离的策略,提出了混合索引结构。通过前缀划分范围,降低数据重复概率,提高设备空间利用率。内存与NVM(Nonvolatile memory)索引数据独立管理,降低了写入过程中,元数据的更新对写入速度的影响。另外,针对NVM设计了一套粗粒度空间管理算法。此算法在降低外部碎片数量和保证申请效率的同时,考虑了写入负载不均衡的问题。通过自定义的负载指数,粗略估计某段空间被写入的频繁程度。申请空间参考负载指数进行,释放空间如果触发块合并,则更新这个指数,逐渐平衡各个块和文件的使用负载。基于开源KV数据库LevelDB,对本文实现了HyKV系统,并对HyKV存储系统在读写性能,负载分布等方面进行了若干测试。结果表明,相对于其他常见的基于LSM的键值系统,HyKV系统有效的提高了性能,并且空间利用率高,写入负载分布基本均衡。顺序写入性能是基于SSD(Solid-state disk)的RocksDB的1.7倍,读性能是基于NVM的RocksDB的1.2倍,空间利用率超过90%,映射文件负载极差小于10%。
其他文献
随着全球化进程的加快,交通运输网络在经济发展中的作用愈发凸显。与其它运输方式相比,航空运输系统具有快速、高安全性以及低运输成本等特点,在地方、国家和国际经济中发挥
研究目的:对浙江大学医学院附属第一医院2010.1~2011.12及2016.1~2017.12确诊前列腺癌患者的诊治模式进行研究,了解近六年我院前列腺癌初诊治疗模式的诊疗现状及演变趋势,明确
目的:比较OSSTEM骨水平(TS)种植系统实心基台与转移基台在磨牙区种植修复后的临床效果。方法:选择2015年6月至2015年10月间就诊于内蒙古医科大学第四附属医院口腔科,由于严重牙体疾病、根尖周炎、牙周病等引起磨牙区牙齿缺失,于我院口腔颌面外科进行OSSTEM系统骨水平(TS)种植、修复科进行修复的患者。受试者随机分为两组:A组由50名接受实心基台种植修复的患者组成。B组50例患者,选择转移
在今天的拉祜西地区,头人组织在乡村社会中发挥的治理功能仍具有不可忽视的存在价值与现实意义。通过寻求头人组织在新时代背景下的创造性转化,探索其在乡村治理能力现代化中发挥的作用,助力国家治理体系和治理能力现代化的建设的意义,发扬少数民族传统治理资源在乡村治理中的积极影响。少数民族地区社会治理中传统社会组织是多民族国家治理现代化的重要内容之一,也是乡村社会走向现代化的有力助手。本文以云南省澜沧拉祜族自治
目的:基于基因表达综合数据库和癌症基因组图谱数据集,以及10位病理标本的实验,发现ASPM在膀胱癌中显著过表达,进一步阐明证ASPM基因过表达与膀胱癌的侵袭性及预后不良的关系
随着大数据和深度学习的发展,产业界和学术界对建立对话系统的兴趣激增。对话系统有着巨大的商业价值和社会价值,但建立一个开放域的闲聊机器人具有挑战性,因为它要求对话系统能够回复人的各种主题类型的输入。对于闲聊机器人,其主要任务是回复选择,目前主流研究侧重于上下文对话和候选回复之间的匹配模式,对上下文对话的内部关联信息和对话之外的外部知识关注得不够。对于这些问题,本文在已有的研究基础上,对检索式多轮对话
在计算与存储的虚拟化成为当前数据中心的一大热点,云计算技术得到广泛应用的今天,越来越多的企业选择将基础服务转移到云上,不断增加的业务、激增的用户数、海量的数据存储以及相应的高性能需求,使得云平台的规模不断变大,极大的增加了部署工作的困难程度。然而,部署环节在云平台的使用周期中是不可或缺的部分,在没有企业级的替换方案前,传统基于网络架构的自下而上的部署模式和复杂的管理机制难以满足现在的部署需求。因此
21世纪是我国全面推进素质教育的时期,学校音乐教育作为素质教育的主阵地,在这场历史性的教育改革中扮演了一个不可替代的特殊角色。教师作为教育的生力军,成为大家所关注的
今天,行政机关负责人出庭应诉已不再是什么罕见的事情,与过往相比较,出庭应诉率明显提升,这对行政争议的解决,能够起到一定的积极作用,并在一定程度上会改善官民矛盾。不过,此项制度自推行起始终存在部分问题尚未解决,本文以行政机关负责人出庭应诉的概念作为切入点,分析与探讨行政机关负责人出庭应诉制度具有的意义。现阶段,对行政机关负责人出庭应诉问题,我国尚未建立起成熟的制度,存在立法不完善、运行状况不佳、监督
在物理世界中,多相流的分布非常广泛,但是因为温度、气压等环境的影响,其介电常数不会恒定不变。在被测场域中不会仅仅只存在一种介质,常常是多种介质混杂的情况,这就导致无法对介质数量和介电常数的实时检测。并且多相流还具有繁杂的流动特性,这就造成无法用一般的数学模型进行完整描述的问题,所以实际应用中的测量就会非常困难。现今,针对多相流的实时检测与图像重建的实验,大多处于仿真验证阶段,尽管有一些成果已经投入