基于LSM树的持久内存键值存储系统

来源 :姚佳波 | 被引量 : 0次 | 上传用户:loakl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
键值存储系统已成为数据中心的软件基础设施,有着非常广泛的用途。新型非易失性存储器(Non-Volatile Memory,NVM)拥有静态能耗低、存储密度高、字节可寻址以及非易失性等优点,对于优化键值存储系统产生了重要意义。LSM树(LogStructured Merge-Tree)作为广泛应用的键值存储结构,存在数据序列化及反序列化开销大、写停等及写放大等问题。研究基于LSM树的持久内存键值存储系统以充分利用新型NVM设备特性提高系统性能,并满足应用Qo S的需求具有重要价值。基于LSM树的持久内存键值存储系统(Mio DB)充分利用了NVM字节可寻址的特性,修改了LSM树中存储键值对的传统SSTable(Sorted Strings Table)存储结构,使用字节可寻址的跳表作为新的持久化数据存储结构,并把所有键值数据保存在NVM中。Mio DB提出了四个新的设计来支持持久内存键值存储系统高效地读写与合并操作:首先,Mio DB为持久跳表设计了快速转储算法,有效减少了转储过程中的数据拷贝次数,消除了数据序列化的开销。同时,基于NVM的字节可寻址特性,Mio DB可以直接查询NVM中的持久跳表,消除了反序列化的开销。第二,为了解决LSM树写放大问题,Mio DB提出了零拷贝合并算法,利用指针修改完成键值数据合并,尽可能复用原数据,避免传统合并方法中的大量数据拷贝,提升了合并效率。第三,Mio DB通过在NVM中设立无容量限制的弹性缓冲,配合快速转储和零拷贝合并算法,大幅增加了系统吞吐量,有效缓解传统LSM树写停等的问题。最后,Mio DB通过设立数据仓库、增大LSM树层数以及使用可合并的布隆过滤器等方法来优化键值存储系统的读性能。实验结果表明,相较于最新的基于NVM的LSM树键值存储系统Nove LSM和Matrix KV,Mio DB的键值访问长尾延迟分别降低了17.1倍和21.7倍,同时写吞吐率分别上升了8.3倍和2.5倍。此外,在写密集型工作负载下,Mio DB的写放大倍率相比Nove LSM和Matrix KV分别降低了5.0倍和4.9倍。
其他文献
近些年来,国家及相关部门对高校教师创新教学的关注与重视日益加强。在全国政协十三届四次会议上,习总书记更是强调要增强教育服务创新发展能力,培养更多适应高质量发展的人才。因此,探索高校教师创新教学的影响因素及触发模式具有深刻的研究价值与实践意义。本研究从组织——个人交互作用的层面探讨了组织创新氛围的对高校教师创新教学行为的影响机制,以非正式学习为中介变量,成长型心智为调节变量构建理论模型。本研究以高校
学位
在过去的几年间,新能源行业受到广泛的重视,尤其是新能源汽车企业,为降低其成本压力,促进其研发创新,政府给予财政上的补贴,然而补贴资金是否被用于研发、研发后成果如何、是否创造了可观的绩效,都有深入考究的必要。鉴于此,笔者针对新能源行业的研发补贴进行研究。首先从理论方面着手,揭示出研发补贴和企业创新行为之间的关系,然后基于实际数据展开实证分析,确定研发补贴对企业绩效的影响,最终为政府补贴政策的拟定指明
学位
在宋代越诉法制的创建与实施过程中,矜恤庶民与监察官吏豪民互为表里。宋初承袭前朝旧例,申严越诉之禁。但伴随着吏治腐败和社会矛盾的激化,宋廷开始认可越诉在肃清吏治、宽恤民力等方面的作用,遂以体恤民情为表意,以监察官吏与豪民为本意,破除越诉禁令,创建越诉法制,准许民众越诉官吏在科敛财物、赋税征纳、狱讼决断等方面的违法行为,以及地方豪民横行乡里、侵夺国利的恶行。为保障越诉法制发挥矜恤庶民与监察官吏豪民的功
学位
随着社会的快速发展,当代大学生面临的压力逐渐增大,大学生睡眠障碍问题频发。调查报告指出,我国大学生睡眠障碍发生率在12.92%~52.84%之间,新冠疫情爆发之后,大学生睡眠障碍发生率进一步增加。睡眠障碍对大学生的身心健康有着巨大威胁,大学生正处于创新思维、学习知识、完善人格的关键时期,良好的睡眠以及完善的身心健康是大学生发展的重要条件。瑜伽作为“世界的瑰宝”,将动与静融为一体,对人们的睡眠状况也
学位
1910年东北鼠疫是我国历史上最严重的一次鼠疫,传播速度快、波及范围广、死亡人数多,对社会造成了严重的危害。同时,它也是我国历史上第一次取得主动性抗疫的胜利,在此期间制定的防疫规章、增添的防疫机构以及民众防疫观念的变化等推动了我国近代防疫体系的建立,奠定了我国近代科学防疫的基础。作为彼时颇具影响力的大众媒介,《大公报》对此次疫情始终保持着高度关注,并致力于通过新闻报道进行社会动员,凝聚防疫共识,对
学位
命名数据网络(Named Data Network,NDN)作为一种备受关注的未来网络架构,拥有以内容为中心的网络结构,有望提高网络对移动性的支持以及内容分发的效率。NDN网络因其全新的架构使其能抵御大多数针对传统网络的分布式拒绝服务(Distributed Denial of Service,DDo S)攻击,但同时也面临着新的网络安全挑战,其中最为突出的便是兴趣泛洪攻击(Interest Fl
学位
社区,一个与我们息息相关的地方,关系着我们的衣食住行。改革开放以后,我国的社会经济体制迎来巨大变革,人口流动加剧和城镇化进程加快使人们的生活方式发生了翻天覆地的变化,传统以单位制为主体的基层治理体系逐渐消亡,社区制开始兴起和发展。作为国家治理的基础细胞和最小单元,社区在社会治理体系中占据着越来越重要的位置,日益成为基层社会治理的重要对象和载体。2000年以后,我国对社区治理的探索和实践进入一个崭新
学位
足球视频精彩事件检测对于视频检索、视频摘要的生成以及球队战术分析等具有重要意义。现有的足球视频精彩事件检测方法已取得一定的进展,但仍存在一些问题:基于人工规则的方法需要人工定义语义规则,但由于规则的普适性不高,常导致事件检测不准;而基于卷积神经网络的方法需要在大量的训练集上进行预训练,计算量大。针对以上问题,通过深入分析足球精彩事件的特性,提出了将足球规则与Transformer相结合的足球精彩事
学位
随着中国市场经济的进一步深化,烟草行业也掀起的改革浪潮,原本处于垄断地位的S市烟草公司从不完全竞争中慢慢走出,直面市场竞争的压力。在此情况下,要想提升竞争力,S市烟草公司就必须要采取适当的市场营销策略指导卷烟经营。本文从S市烟草公司的基本情况和销售情况入手,对其现状进行介绍,并开展卷烟零售商的市场调研,将调研结果与S市烟草公司的现状相结合,分析和整理出S市烟草公司在卷烟的营销上存在问题及其原因;然
学位
新晋作家双雪涛因其《平原上的摩西》等作品,获得了大量读者与学者的关注。然而,双雪涛有意回避纷繁话语中“80后”作家、“工人子弟”、“新东北作家”等身份塑造,并以小说集《猎人》为代表的新作打破了原有的“东北故事”叙事,显示出小说创作上的转型。此外,关于双雪涛的研究仍以阶层-历史框架为主,而对其小说在表现现实生存、个体精神以及人伦情感等方面的价值评估不足。因此,本文以《聋哑时代》《平原上的摩西》《飞行
学位