低开销高可靠的分布式文件系统存储端的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:ffcsyangchh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
兼具高伸缩性与高可靠性优点的分布式存储系统正在逐步取代传统的集中式存储技术,成为大规模数据存储的主流选择。然而现有的分布式存储系统的数据可靠性保障机制均是针对配置有大量存储节点的商用环境设计,并不适用于实时性与可靠性要求更高而可部署节点数较少的航空航天环境。针对上述问题,设计了一种适用于航空航天环境的分布式存储系统存储端。该设计使得分布式存储端不仅具有传统的存储节点间基于同步链式复制的数据副本容错机制、存储节点数据块检查功能、数据块增加、删除、查找等基本功能之外,其还具备以下技术特点:(1)针对单节点所管理的文件数据块较少的特点,设计了哈希与树形结构相结合的文件数据块管理方案,以降低其元数据管理开销。(2)设计了基于异步链式复制的数据副本容错机制,当同步链式复制受限于节点数及节点状态而无法有效工作时,采用异步链式复制以平衡数据可靠性与服务实时性。(3)设计了基于反向索引技术的掉电保护方案以避免频繁更新元数据带来的一致性维护性能开销,当节点掉电导致元数据与数据不一致时,通过反向索引更新并恢复元数据。基于以上设计,采用标准C实现了原型系统。在8GB内存,intel i3处理器的windows10操作系统的测试环境下进行测试结果显示,对10万个节点的初始化用时16ms,每当增加10万个节点初始化时间增加约15ms;经过数据写测试发现每写入一个4MB的文件块用时平均为19ms;每删除一个4M的数据块用时为0.9ms;对于数据的查找分为正常情况查找和元数据缺失情况下两种查找,正常情况下平均每查找一个4MB的数据块用时6.5ms,元数据缺失情况下查找用时平均为7.5ms;元数据本地化10万个节点用时34ms;10万个节点元数据的恢复用时64ms。如上所述其性能均能满足系统设计需求。
其他文献
随机延迟微分方程是一种带延迟量的不确定性模型,在某些情况下它能够合理地描述自然界中行为的演变规律,因此随机延迟微分方程在医学、物理、金融等领域被广泛地应用于刻画这
大数据时代,数据海量增涨,支持低成本、大容量、高效率存储是构建存储系统的关键。研究表明,根据80/20定理,80%的请求访问了20%的数据,即大部分的请求集中于对小文件、热数据
镁及镁合金作为生物可降解材料具有很广阔的应用前景,但是镁的耐蚀性较差限制了其应用。本论文采用微弧氧化技术,在镁合金基底上制备微弧氧化层,旨在有效提高镁合金耐蚀性能,
作为民生工程的三峡枢纽建成后,库区的地质环境成为关注的重点,众多地层中以泥-砂互层岩为主的侏罗系岩层分布范围最为广泛,互层岩因具有陡缓相邻,软硬相间的特点成为边坡不稳定的主要因素。本文以三峡库区泥-砂岩异性结构面为研究对象,基于Barton强度准则和10条标准剖面,结合室内直剪试验和颗粒流数值模拟,研究了泥-砂岩异性结构面试样在不同试验方案下抗剪强度特性和破坏机理,得出以下结论:(1)首先进行了砂
近年来,随着锂盐应用领域不断扩大和市场需求迅速增长,使得我国锂盐工业得到迅速发展,与此同时也产生了大量工业副产品锂渣,其堆存量逐年增加。与矿渣和粉煤灰相比,锂渣的利
甘肃金昌是国家二氧化硫(sO2)污染控制区,金川冶炼化工园区是金川区sO2的主要污染源。针对金川区污染特点,本文提出了集中园区烟气,利用高烟囱将烟气自混合层高度以上排放的
佐匹克隆是手性药物,其右旋体可以有效治疗睡眠紊乱,目前光学纯的佐匹克隆在市场上具有很大的临床应用需求。因此,建立快速、简便、有效的对映体分离方法,具有重要的理论和现实意义。本课题的目标是发展新型毛细管电泳法(CE)对佐匹克隆对映体进行拆分。我们在传统β-环糊精分离体系中添加大分子拥挤试剂葡聚糖(Dextran),结果显示,葡聚糖的引入可以提高分离体系的分离效率,缩短分离时间。当葡聚糖浓度为5.8
光致变色材料在光催化、光存储、吸附、磁性、发光、非线性光学、装饰、防伪以及伪装等领域有广泛的应用。光致变色材料又分为无机光致变色体系、有机光致变色体系、无机-有
随着我国经济的不断发展,我国产业发展对于低碳、低能耗的企业发展要求日益凸显。企业项目成本管理也成为工业企业资本运营与管理的重要环节,对于企业完善投资体制具有至关重
制造业直接体现了一个国家的生产力水平,我国制造业一直以来都是国家的支柱性产业。在我国,家用电器制造在制造业中占据着重要的地位,家电企业之间的竞争愈加激烈。为了使企业能够得到更好的发展,家电企业有必要了解自己在同行业中的地位,找出限制自身发展的不利因素,提高企业竞争力。AQ电器公司是我国一家规模比较大的家电类企业,经过多年的发展,现已成长为我国规模最大的电冰箱制造基地之一。但是近些年来公司经营状况欠