分层索引的键值存储系统研究与实现

来源 :胡皓胜 | 被引量 : 0次 | 上传用户:hui1202
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云服务的普及使得云存储系统所管理的数据规模快速增长,海量的用户数据以及低访问时延的需求给云存储系统的元数据访问性能带来了挑战。键值存储技术是云存储系统构建元数据集群的重要技术之一,但现有键值存储系统的索引方案无法满足元数据集群对索引性能稳定高效的需求。目前主流的日志结构合并树(LogStructured Merge Tree,LSM-Tree)索引无法提供高效的查询性能,而B+树索引的性能随着索引数据总量的增加而显著下降,并且两者都存在性能抖动与长尾延迟的问题,因此需要探索适用于海量元数据访问的索引方案。针对现有键值存储系统无法提供高效且稳定的海量元数据访问性能的问题,提出一种分层索引的高性能键值存储系统MBKV(Multiple B+Tree Key Value)。MBKV设计了静态索引层和动态索引层结合的分层索引结构,静态索引层用来加速定位过程,动态索引层由多个存储槽组成以存放实际数据,每个存储槽中维护了一个存放增量数据的独立缓冲区和一棵存放持久化数据的低高度B+树。为减少外存访问次数以提高读性能,MBKV使用分层结构减少B+树的节点数量,并缓存全部的非叶子节点;为降低系统尾延迟并减少性能抖动,MBKV保证增量数据的持久化只影响单个存储槽,并通过低高度的B+树减少持久化过程的结构调整与写放大开销。此外,为使系统在数据量增长后依然提供良好稳定的性能,MBKV通过定期的扩展操作来保持每棵B+树的低高度特点,避免了B+Tree结构性能与数据量成负相关的问题。实现了MBKV的系统原型,并在真实的固态硬盘设备上与基于LSM-Tree结构的Rocks DB和基于B+树结构的Wired Tiger进行了性能对比。测试结果表明,数据量增长时MBKV仍能提供较高的性能;对比Rocks DB和Wired Tiger,MBKV的写入性能分别可提高82%和128%,单点读性能分别可提高117%和102%,范围读性能分别可提高177%和10%;另外,MBKV有着三者最低的最大读写访问时延。
其他文献
随着“饭圈”文化的发展,饭圈粉丝集体行动逐渐规模化,“粉丝行动主义”逐步兴起,并基于其亚文化属性对主流文化发起挑战,影响着整个国家的文艺生态环境,对我国的文化建设、经济秩序和社会发展战略都造成了一定的影响。文艺的作用从来都不是单一的作用,文艺在我国社会主义建设道路上扮演着重要角色,它关系着一个时代的精神、价值、认同,关系着一个国家的综合实力和文明进程。因此,政府及时采取措施,对“饭圈”乱象展开了治
学位
随着“第四媒体”互联网的兴起与发展,网络己成为人们获取信息的主要来源和表达观点的重要阵地,数量庞大的网民在网络平台表达观点和发泄情绪,生活中的敏感事件在网络上更容易造成群体效应,大量网民不断围观解读,使得事件进一步得到放大,网络舆情随之产生。作为我国网民群体的重要组成部分,高校师生不但熟悉网络,而且参与意识强烈、善于表达观点,围绕某一事件的关注和讨论往往使得他们成为高校舆情信息的主要发布者和传播者
学位
分区命名空间固态盘(Zoned Namespace Solid State Drive,ZNS SSD)以zone为单位管理闪存资源,将数据布局及垃圾回收操作交由主机负责,可以为基于日志结构合并树(Log-Structured Merge Tree,LSM-tree)的键值存储系统提供可预测的性能和稳定的带宽。键值存储系统的合并排序与垃圾回收存在双重写放大,而较大的zone也使得垃圾回收时数据迁移
学位
工业控制系统作为现代工业基础设施的重要支撑系统,其安全与国家安危紧密相连。云计算的引入为工业控制系统带来转型升级的同时,也增加了其面临的信息安全风险。愈来愈开放的系统架构使现场设备、物理设施等直接暴露于网络攻击下,亟需构建适用于工业控制系统现场层的信息安全防护体系以应对智能复杂的网络攻击。本文针对云环境下工业控制系统现场层信息安全防护问题,分析系统的体系架构、运行特点及安全防护需求,利用边缘节点的
学位
近年来,随着物联网的快速发展,物联网设备的数量呈爆炸性增长,越来越多的应用程序对延迟具有严格的要求。移动边缘计算(Mobile Edge Computing,MEC)技术可以帮助移动设备将计算密集型任务卸载到附近的边缘服务器,加快计算过程的同时缓解了物联网设备的资源短缺困境。另一方面,在异构网(Heterogeneous Network,HetNet)和超密网(Ultra Dense Networ
学位
随着大数据、人工智能、云计算以及物联网等技术的不断发展与完善,全球数据呈爆发式增长,数据安全显得愈发重要。传统的多副本和纠删码等被动容错技术会造成存储空间、网络带宽和计算资源的浪费。为了降低这部分开销,相关研究人员开始研究以硬盘故障预测为主的主动容错技术。现有故障预测方法仍然存在预测误差,且每次故障预测都是一个相对独立的过程,导致其预测结果可解释性较差,对硬盘处理决策的指导意义有限,实际应用价值低
学位
安全多方计算(Secure Multi-party Computation,MPC)能够为隐私数据的分布式合作计算提供有效解决方案,是密码学领域中的热点研究问题之一。保护隐私的集合计算(Private Set Operation,PSO)作为安全多方计算领域的特定应用问题,允许多个参与者利用各自的隐私集合数据,协作完成特定计算,同时保证计算过程中不泄露任何人的隐私数据。PSO主要包括隐私集合交集计
学位
白先勇成长于传统文化的濡染之中,同时又深受“西方影响”,多元的文化场域使他对中国文化的命运有着独特的思考,这些思考体现在他的小说创作中,所以他的文本创作有很大的阐释空间。以“文化磨合”论为指导,可以通过考察白先勇的文化认同进而审视其文化策略,并以文学文本为具体个案考察其文化策略的实践。不管是宏观文化层面,还是微观文学层面,都彰显着白先勇在多元文化质素的磨合中,对中国文化复兴和文化创造的深刻考量。在
学位
随着网络技术和移动终端设备的发展,各种各样的在线社交网络平台已经成为人们生活中的一部分。与传统社交网络不同,在线社交网络中较低的交友成本和快速传播信息的特性使其可以在短时间内快速扩张。社区结构是在线社交网络的重要特性之一。根据由不同兴趣、职业、地域形成的社区结构可以开展各种商业行为。现有的动态社区发现方法通过分析多个时刻的用户交互网络来生成与每个时刻对应的多个社区结果。然而,在线社交网络中充满了大
学位
在人群疏散场景中,人群疏散决策行为(如疏散出口选择行为)对疏散效率和疏散结果有重要影响。如果对人群疏散没有合理的规划和管理,就有可能导致重大安全事故发生。加强对人群疏散决策规则的挖掘和解释,将有助于规划人员对场景的疏散风险进行分析,从而制定合理的规划或改进措施,进而改善居民的安全。然而,人群疏散决策行为受众多因素影响,具有不确定性强,个体决策规则差异性大,特征之间存在决策优先级差异等特点,这使得人
学位