【摘 要】
:
近年来,随着互联网的普及与大数据的蓬勃发展,各大云服务提供商和各大电商的业务不断扩张,数据量呈爆发式增长,海量数据的存储与管理给分布式数据库系统带来严峻的挑战。传统分布式数据库架构的一个显著特点是计算(查询解析、查询优化等)与存储(数据持久化、备份、故障恢复等)在物理上紧耦合,但是该模式下计算与存储业务存在资源竞争,性能相互制约,同时也使得集群难以实现快速弹性扩展,系统调度效率较低。本论文针对以上
论文部分内容阅读
近年来,随着互联网的普及与大数据的蓬勃发展,各大云服务提供商和各大电商的业务不断扩张,数据量呈爆发式增长,海量数据的存储与管理给分布式数据库系统带来严峻的挑战。传统分布式数据库架构的一个显著特点是计算(查询解析、查询优化等)与存储(数据持久化、备份、故障恢复等)在物理上紧耦合,但是该模式下计算与存储业务存在资源竞争,性能相互制约,同时也使得集群难以实现快速弹性扩展,系统调度效率较低。本论文针对以上问题进行深入研究,将数据库这个“黑盒子”打开,研究如何在分布式数据库上实现计算与存储分离,即将查询解析、查询优化等计算逻辑与数据持久化、备份、故障恢复等存储业务在物理上解耦,实现上层计算层无状态,底层存储层池化。同时,由于近年来NoSQL数据库凭借其高可用、高可扩展的优良特性被广泛应用于海量数据管理,因此本论文采用NoSQL中的一个重要分支Key-Value数据模型进行数据库系统的实现。具体而言,本论文主要完成以下工作:(1)深入研究数据库计算与存储分离的意义与可行性,调研当前国内外计算与存储分离数据库系统的发展现状,在充分的调研工作基础上完成本论文系统整体架构设计与功能模块设计。(2)针对计算与存储分离带来的网络IO瓶颈,采取“日志即数据”的设计理念,在计算层与存储层之间传递日志取代真实数据的传递,由存储层自行解析日志实现数据回放。该策略能够有效降低系统网络负载,且不影响计算层的查询计算。(3)针对计算与存储分离带来的计算层缓存数据陈旧问题,提出合理的一致性策略。计算层引入了缓存机制,采用一写多读的方式,能够有效减少数据库查询时计算层访问存储层的网络开销,并提高系统负载能力。(4)开展原型系统的实现,并对已实现的数据库系统进行全面的功能和性能测试。在性能测试上,本系统与紧耦合模式的分布式Key-Value存储系统Pegasus进行对比测试,测试结果证明经过计算与存储分离模式的改造,数据库系统性能符合预期,达到较好的水平。
其他文献
智能移动机器人作为人工智能发展重要的衍生产品,极大的改变了人类的生产、生活方式。场景识别是针对智能移动机器人研究的一个重要分支,移动机器人的诸多功能如定位、导航、
背景2型糖尿病(type 2 diabetes mellitus,T2DM)是一种可累及全身的慢性代谢性疾病,随着城市化进程加速、人口老龄化、肥胖患病率增加及遗传易感性等问题的凸显,糖尿病发病率
目的:观察姜树民教授之“理气通腑润肠颗粒”治疗肠道气滞型功能性便秘的临床疗效,评估其临床价值,并探讨其作用机理。材料与方法:在2017-10至2019-12于辽宁中医药大学附属医
随着移动互联网的高速发展,人们能够轻易地获取到海量的信息,而这些信息的载体也越来越多样,包含了文本、图片、视频和音频等各种形式,这些形式多样的信息便构成了多模态数据
毫米波大规模MIMO及密集异构网络技术是满足5G通信需求的关键使能技术,可极大提高网络容量与传输速率。然而,在毫米波小小区大量密集部署的异构网络中,UE波束选择与小小区间
目的:百日咳是由百日咳鲍特菌感染引起的一种具有高度传染性的急性呼吸道疾病。近年来,一些疫苗接种率较高的发达国家报告百日咳发病率在多年维持较低水平后再次上升,即所谓
同时包含数值型和分类型的混合型数据集在各个领域中普遍存在,包括医学、生物学、金融业等。由于分类型和数值型数据具有不同的特性,在对未标记的数据进行聚类时,两种类型的
随着现代通信对带宽的需求越来越高,人们对信息传输的可靠性也有着更加苛刻的要求。低密度奇偶校验(Low-Density Parity-Check,LDPC)码有很强的纠错性,并且具有逼近香农极限的
为了满足人们对通信网络系统容量与日俱增的需求,现有的无线通信工作频段已经非常拥挤,开辟新的波长更短的频谱资源,是未来5G的一个研究领域。毫米波在高频频段拥有着非常丰富的资源,因此在频谱资源极度紧张的今天,毫米波通信非常具有吸引力。然而毫米波系统天线数量多、设备开销大,与其相关的技术都面临着巨大的挑战。本文主要研究毫米波混合预编码技术、初次接入技术、以及毫米波NOMA系统下功率分配与预编码的联合优化
目的:探讨腰椎侧路椎间孔镜治疗脱出型腰椎间盘突出症的临床疗效。方法:回顾性分析2015年6月-2017年6月在我科经腰椎侧路椎间孔镜治疗的42例脱出型腰椎间盘突出症患者。其中