高负载环境下分层一致性协议的优化与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:fspdgx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据科学的提出与兴起,分布式存储技术的价值和重要性日渐凸显。相比于传统的集中式存储系统,分布式存储系统具有低成本、易扩展、高可用等优势。复制技术是实现分布式系统高可用性、广域范围内快速响应的关键,而数据一致性的实现性能是评估复制技术的重要指标。目前最有效的解决数据一致性问题的方法是采用具有领导者节点结构的分布式一致性协议,如典型的Multi-Paxos协议。但是,随着大数据技术的普及和广泛应用,分布式存储系统的负载越来越高。在这种情况下,领导者节点的能力约束了成了系统性能的主要瓶颈。如何在高负载的环境下,有效解决领导者节点存在的瓶颈问题,是一项极具挑战性的课题。针对上述问题,本文以Multi-Paxos协议为基础,以提高系统每秒响应请求数量为目标,以Multi-Paxos协议领导者节点瓶颈问题为突破点,对分布式数据一致性协议的优化问题展开研究。本文的主要研究内容和创新点归纳如下:首先,对Multi-Paxos协议中存在的领导者节点的瓶颈问题进行了理论分析。在此基础上,提出了一种基于分层思想的Multi-Paxos改进协议。该协议可将MultiPaxos协议中由领导者独立完成的请求传输的工作分摊给系统中所有节点共同完成,领导者节点只负责对请求的ID进行排序,从而有效地降低领导者节点的负载,同时提高系统整体的资源利用率。第二,将批处理和流水线的思想引入分层Multi-Paxos协议中,推导了在所建立的模型下批处理和流水线的定量关系,并根据推导结果对批处理和流水线的参数设置进行了优化。仿真结果表明,在分层结构下,通过合理使用批处理和流水线机制能够有效提高系统并行处理客户端数据请求的能力,进而提高系统的整体性能。最后,为了进一步验证所提方案在真实环境下的正确性与有效性,对分层Multi-Paxos协议及其优化方案进行了实现。实验测试结果与仿真结果基本一致,证明了所提方案不仅能够有效解决领导者节点的瓶颈问题,而且在高负载的环境下,系统每秒响应请求数量远高于现有方案。
其他文献
近年来,卫星通信技术高速发展,卫星发射数量随着日益增长的应用需求逐渐增多。当太空中卫星的数量较少时,卫星运行到地面站上空时与其进行数据通信;随着卫星数目的增长,为了
聚乙烯(polyethylene,简称PE)木塑装配式围挡结构相较于传统围挡结构具有强度高、宜装卸、使用寿命长以及环保等优良特征,主要用于广东、福建、山东等强风地区。目前这种新型材料制成的围挡结构已小范围投入生产、使用,但围挡结构的安全性及适用性还有待研究。因此,对PE木塑围挡结构的力学性能及破坏机理研究具有重要意义。本文正是基于上述背景,以实验为基础,利用数值模拟的方式对PE木塑围挡结构的力学性
随着云计算的快速发展,数据中心作为云计算的核心基础设施也开始了高速发展,传统数据中心的集中式网络分布被打破。随着分布式取代了集中式,当今数据中心对海量数据的高效存
市政道路与公路的主管部门分别为住房和城乡建设部、交通运输部,并对应存在两种不同的计价体系。大量工程实践表明,市政道路与公路建设项目的投资巨大且相同主体工程部分在同样工程量下的造价的确存在差异性。课题首先从造价管理、计价依据、费用组成、计价程序及计价定额等五方面对两者的计价体系进行系统性的对比分析,得出其差异性;其次节选贵州省遵义乐理至冷水坪高速公路中具代表性的一段工程项目作为编制造价文件实例,量化
随着科技的飞速发展,计算机图形学在渲染方面取得了一个又一个的突破,诞生了大量优秀韵渲染模型,但是离真实感渲染还有一定差距。因为现实世界场景复杂多变、客观条件众多,用
随着社会的发展,现有的频谱资源已远远无法满足广大用户的需求,人们急于寻找新的频谱资源,于是,未来的第五代移动通信技术(5G)研究者们便将目光投向了目前仍未被授权的毫米波
图匹配作为图计算中一种基本操作,是图数据处理领域中一项重要的研究内容,在生物学、信息学、社会学等重点领域均得到广泛的研究与应用。近年来,许多国内外学者对图匹配方法
卫星通信具备全覆盖、全天时及全天候等独有特点,而低轨(Low Earth Orbit,LEO)卫星更是以其优越的通信链路具备良好的发展潜力。扩频技术以其抗干扰能力强、保密性能好及功率
压水堆燃料组件由燃料棒和定位格架构成,堆芯内冷却剂的高速冲刷加上定位格架搅混翼引起的横向流动会导致燃料组件的振动,振动和由振动引起的变形会诱发包壳出现磨损进而引发放射性物质的泄漏危及反应堆第一道安全屏障的完整性。总结有关棒束流致振动问题的研究,燃料棒振动问题的研究主要集中在三个方面:一是研究燃料组件内冷却剂流动情况;二是研究不考虑传热条件下的来流横向冲刷;三是将单根燃料棒等效为梁,进行力学分析。本
近年来,为了满足用户不断增长的通信需求,逐渐形成了在已有宏基站覆盖的基础上引入大量低功率基站(节点)的分层异构网络,来实现网络的无缝覆盖和高速数据传输。但是,因为宏基