基于日志结构合并树的混合合并机制研究与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:liqiran
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,基于日志结构合并树的键值对存储系统因为结构简单、写吞吐量高等优点被应用到各个领域。日志结构合并树常用的两种合并策略是TCS(Tiered Compaction Strategy)和LCS(Leveled Compaction Strategy)。TCS允许同层的键范围重叠,减少了维持键有序而进行的数据重写,但是指数增长的SSTables(Sorted String Tables)大小会占用大量临时存储空间,并潜在地降低查询性能;LCS采用固定大小SSTables,但为了维持每层键有序排列,频繁地对数据集进行重写。首先,为了融合上述两种合并策略的优势,提出一种混合合并机制HCM(Hybrid Compaction Mechanism),允许同层键范围重叠并且采用固定大小的SSTables。具体而言,HCM仅将当前层SSTables归并排序到下一层,同层内SSTables键范围允许重叠,减少了维持键有序产生的数据重写;同时采用固定大小的SSTables,待合并SSTable与参与合并的其他SSTables有重叠键范围,则进行物理合并。如果没有重叠键范围,则直接移到下一层,并不产生物理合并操作,从而减少写放大;另外监控合并过程,及时删除已合并物理表,减少合并过程中的空间占用。其次,为了提高查询性能,提出两种查询优化方法:文件级布隆过滤器和并行查询机制。通过文件级布隆过滤器准确地筛选出可能存在目标键的物理表,减少不必要的物理表查询操作。并行查询机制能实施多个物理表并发查询,充分利用固态盘内在的高并行性。最后,在LevelDB基础上实现HCM合并机制。通过重放db_bench和YCSB生对的负载对HCM进行实验评估。实验结果表明,HCM的写放大分别比TCS、LCS减少3.0%和96.4%,平均查询延迟时间分别比TCS和LCS减少80.4%和65%。
其他文献
数据量暴增的信息时代,内存存储已经成为许多数据密集型应用程序的关键组件,如OLTP和OLAP。然而,内存存储面临两方面技术挑战:一方面,内存系统中数据可能永久丢失或暂时不可用;另一方面,用户访问模式会导致内存数据的访问热度变化,而静态数据布局无法匹配动态访问热度变化。对于前者,需要引入冗余方案;对于后者,需要根据访问热度动态调整内存数据布局。因此,针对内存数据集的冗余方案及自适应数据布局问题进行研
为了适应国家“大众创业”、“万众创新”的战略,各高校纷纷开展创业教育,学者和专家也纷纷聚焦创业教育研究。但是在创业教育研究中,大多数学者关注的是“创业怎么教”,“创
推荐系统已广泛应用在电子商务、社交媒体、教育科研等诸多领域,有效应对了信息超载问题;然而,数据稀疏性一直制约着推荐系统的效果,利用辅助信息如内容信息、用户社交网络能有效缓解数据稀疏问题的副作用,但如何有效地利用这些信息增强推荐效果仍是一个开放性问题。此外,随着深度学习、度量学习等技术的进步,研究如何融合新技术和辅助信息来构建新型推荐系统成为新的挑战。为此,本文针对推荐系统中的评分预测和Top-n推
机器人移动履行系统(RMFS)即“货到人”拣选系统,由于其较好的可扩展性和较低的运转成本,随着人力成本的提升,其在仓库升级中也扮演着越来越重要的角色。在正常的拣选过程中,
在新的市场环境下,市场上的竞争越来越激烈,形式也越来越多样,竞争不仅仅再只局限于企业之间,现在供应链之间的竞争也成为市场竞争的主流。现在供应链管理的主要竞争都集中在采购和供应商管理上。好的供应链管理能够降低采购成本,提升企业的效益空间。本文的重点的研究对象是作为供应链管理中的一个核心的问题,供应商的管理的问题,想找出关键旨在使供应商管理如何提升企业的绩效,以及在供应商管理中应该从那些方面出发才能帮
近年来,为了提升时延敏感型应用的用户体验,越来越多的数据存放在集群系统的内存中,从而衍生出内存集群。内存集群受到多种异构访问因素的影响,而现有调度方案通常仅考虑单一异构性因素,因此不能很好地解决内存集群中由异构访问引发的性能问题。针对上述问题,对内存集群调度方案进行研究。经分析,影响内存集群的异构访问因素至少包括数据位置(数据位于本地机架或者远程机架)、节点负载(节点处于轻载或者重载状态)以及分块
特异性识别分子对许多生物化学过程是必要的,因此对于灵敏的生物分子传感方法的需求大大增加。尤其是在太赫兹波段,许多生物化学分子发生分子内和分子间的振动,使得这一波段
雨天是常见的恶劣天气,图像受雨滴影响会产生严重退化,导致计算机自动检测、跟踪等性能的降低。生成对抗网络具有强大的特征学习和特征表达能力,将其与注意力机制相结合,可以根据注意力机制所关注的区域,以对抗训练的思想生成更高质量的图像,为计算机视觉应用提供了新的技术和手段。它在图像的雨滴去除中,已取得较好效果。去除雨滴的影响,还原背景场景,将有利于图像后续处理。为此,本文主要工作内容如下:首先,本文对基于
自治水下机器人(Autonomous Underwater Vehicle,简称AUV)由于无电缆制约,活动范围广,且体积小,重量轻,在大范围海洋探测领域发挥着重要作用。随着海洋利用区域不断扩大,人类
积雪是地球表面极其重要的组成部分并广泛的存在于高寒地区,同时也是地表中最为活跃的自然因素。在全球气候加速变暖的大背景之下,因青藏高原在全世界同一纬度的地区中海拔最