基于动态分区和多级存储的LSM-tree键值存储研究

来源 :杨明浩 | 被引量 : 0次 | 上传用户:treesoft_ng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于日志结构合并树(Log Structured Merge Tree,LSM-tree)的键值存储(Key-Value Store)由于其高性能和高可扩展性被广泛应用于大数据场景中。然而,LSM-tree键值存储由于其内部合并操作(compaction)会对数据进行合并排序,存在严重的写放大问题。此外,LSM-tree键值存储的内部I/O操作会和用户操作相互影响,阻塞用户请求,造成系统的长尾延迟,影响系统的稳定性和吞吐量。针对上述问题,设计实现了基于动态分区和多级存储的LSM-tree键值存储系统Zone DB。对于写放大问题,Zone DB采用了基于键的范围分区构建的动态分区方案,将合并排序操作的开销分摊到各个分区的子树中。范围分区能够有效保留键的顺序性并减少查询操作涉及的文件数,在减少LSM-tree键值系统的总体写放大的同时也能提升一定的读性能;为了保证各个分区内子树的大小均衡,采用了基于前缀树的分区预分配策略和相应的分区动态调整策略。对于长尾延迟问题,Zone DB采用了多级存储策略,利用NVM设备加速LSM-tree键值系统的底层数据的读写,并提出了L0层到L1层的合并排序延迟写入策略以及较高层的合并排序I/O过滤策略,缓解系统的写停顿与写停止,减少了系统的尾延迟。在db_bench的测试中,相比于Rocks DB、采用分区方案的Pebbles DB和采用多级存储方案的Matrix KV,Zone DB随机写的吞吐量至多提升了84.6%、76.9%和15.9%,总写放大至多减少了26.1%、6.6%和13.5%,随机读的吞吐量至多提升3.77倍、16.4倍和1.95倍,99%尾延迟至多减少了96.9%、81.1%和96.5%。在YCSB-A的读写混合负载的测试中,与其他三种方案相比,Zone DB的吞吐率提升2.92倍、2.74倍和1.12倍,99%尾延迟降低了91.1%、89.8%和24.6%。
其他文献
往复式压缩机在流程工业中应用广泛,其易损件多、故障频发。一旦出现故障而未被及时发现,轻则给生产企业带来经济效益损失,重则造成人身伤亡。因此,对往复式压缩机建立有效、可靠的在线状态监测系统具有重要的意义。由于往复式压缩机运动部件的周期运转特性以及冲击性激励源的存在,其振动信号十分复杂。生产企业的在线监测系统中现用的单特征门限报警的故障预警方法由于仅考虑单一或数个振动特征的幅值变化,该方法建立振动信号
学位
目的 探讨高强度聚焦超声子宫肌瘤消融术治疗子宫肌瘤的效果及对子宫内膜容受性、基质金属蛋白酶-2(MMP-2)、基质金属蛋白酶-9(MMP-9)水平的影响。方法 选择2019年8月至2021年4月我院收治的88例子宫肌瘤患者为研究对象,按照随机数字表法将其分为对照组和观察组,各44例。对照组采用腹腔镜下子宫肌瘤剔除术治疗,观察组采用高强度聚焦超声子宫肌瘤消融术治疗。比较两组的治疗效果。结果 观察组的
期刊
随着近代各国工业对石油的消耗,目前易于开采的常规原油储量严重下降,所以为了满足石油的需求,人们开始着手开采较为困难的稠油。目前,在我国诸多稠油开采方式中,蒸汽吞吐和蒸汽驱达到90%以上的占比,采收率能达到30%左右,其开采原理是通过向油藏中注入高温高压水蒸气,加热稠油改善其流动性,同时释放热量的冷凝水还可以稀释稠油,从而实现开采。热采注汽管线作为蒸汽吞吐和蒸汽驱过程中的关键设备,其是否安全运行严重
学位
伴随着新课程改革的推进,初中阶段的体育教学环境发生了根本性的转变,正由浅入深进行着深层次的探索。初中篮球开展大单元教学实践价值明显,对深度学习指导路径的分析,为初中篮球大单元教学提供了新思路,让初中生可以在深度学习的过程中有新的体验。文章从初中篮球大单元教学全流程出发,探索深度学习与大单元教学走向融合的路径,从而进一步提高初中篮球教学的质量和实效。
期刊
近年来,随着石油工业的不断发展,容易开采的轻质原油储量日益降低,稠油资源的开采成为各国主要研究方向。由于稠油粘度高、密度大、流动性差等特点,一般采用蒸汽吞吐或蒸汽驱两种方式。其作用原理是将高温(350℃)高压(21MPa)蒸汽注入稠油层,使油层温度上升、黏度下降,流动性增加,便于开采。为降低海上平台作业成本,针对可在高温注热蒸汽环境下不提出泵的要求,依据环境及工艺要求,设计了一种新型的注采一体用水
学位
目的 分析子宫肌瘤治疗中超声引导下高强度聚焦超声消融术的有效性及安全性。方法 选取120例子宫肌瘤患者,按照入院顺序排号,根据奇偶数进行分组,偶数组为研究组,奇数组为对照组,每组60例。研究组实施超声引导下高强度聚焦超声消融术治疗,对照组实施腹腔镜下子宫肌瘤剔除术治疗。对比两组手术相关指标、并发症发生情况,观察研究组患者手术前、手术后3、6、12个月病灶体积变化情况。结果 两组手术时间对比,差异无
期刊
职业教育产教融合政策高效实施是落实中国教育发展战略的要求,也是助推地方经济高质量可持续发展的重要保障。本文以黄石市职业教育产教融合政策为例,分析黄石市职业教育产教融合现状,剖析黄石市职业教育产教融合政策实施特征与存在的问题,构建职业教育产教融合政策实施效果评价体系,运用模糊综合评价法评估黄石市职业教育产教融合政策实施效果,提出提升黄石市职业教育产教融合政策实施效果的对策建议。研究结果表明:(1)黄
学位
随着我国制造业的转型升级,制造业对人才的需求也发生了变化。为了保证智能制造领域产业健康发展,教育部倡导开设智能制造工程等新工科专业或升级传统专业培养人才来适应产业变革。由于缺乏智能制造领域相关技术研发背景和产教融合资源,许多院校在开设新专业或专业升级时难以有效把握产业对人才的能力需求,导致人才培养定位不够精准,使得培养出来的人才在能力上无法匹配智能制造领域产业的人才需求。本文提出了一种基于智能制造
学位
完整性检测技术广泛应用于非易失内存系统中保证数据的安全性,但会引入额外元数据,并需要正确保存这些元数据,避免出现系统崩溃后数据无法正常使用的问题。在上述技术中,SIT(SGX Integrity Tree)因为支持层间并行计算而具备更好的更新性能。为保证SIT的崩溃一致性,现有工作在每次写操作时需要更新多个节点,并持久化对应元数据,造成较高的写延迟,严重降低系统性能,且崩溃恢复时间较长。面向系统崩
学位
广泛应用于社交网络等领域的动态图处理在大数据时代面临着海量数据带来的内存容量压力,传统的动态随机存取存储器(Dynamic Random Access Memory,DRAM)由于存储密度低,容量难以继续提升,极大地限制了动态图处理规模的扩展。高密度存储器非易失内存(Non-volatile Memory,NVM)的出现,使得对大规模动态图进行处理成为了可能。随着数据规模的提升,现有动态图数据结构
学位