分布式存储系统中多节点故障修复研究

来源 :长安大学 | 被引量 : 0次 | 上传用户:lcb225
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的发展,数据的海量化已成趋势。分布式存储系统具有分担存储负载、成本低廉并且可扩展性高的优点,非常适用于当前的海量数据存储。为了确保存储节点故障时的可靠性,系统中采用了各种编码技术。最简单和最常用的编码策略是复制,但是需要存储多个副本使得存储开销过大。另一种编码策略为纠删码策略,纠删码策略对于给定的可靠性要求具有最小的存储开销,但是在修复故障节点时修复带宽开销过大。基于网络编码方式,Dimakis等人提出再生码的概念,实现了存储开销和修复带宽开销之间的最佳折衷。再生码可以极大地减少故障节点修复时的数据传输量,但是需要连接较多的存活节点,修复局部性较高。局部修复码(Locally Repairable Codes,LRC)通过将存储节点分组并产生组编码块来降低故障节点修复时需要连接的节点数。但是,现阶段节点故障修复研究多关注于单节点,多节点故障修复时的性能仍有待提高。因此,本文针对多节点故障的快速修复进行了如下研究:(1)针对具有冷热文件的存储系统,基于局部修复码和分组修复码,提出了一种新的编码方案——非均匀故障保护的分组修复码(Group Repairable Codes based on Nonuniform Fault Protection,GRC-NFP),能够在具有较小的多故障节点修复的磁盘读取开销的同时对热文件以及高故障概率节点提供更高等级保护。首先对文件进行冷热分组,后将数据块按照所存目标节点故障概率进行排序,存入高或低故障数据分组并根据数据分组的故障概率高低生成数目不等的组编码块。理论仿真表明,热文件可以得到有效保护的同时具有低于分组修复码(GRC)的节点故障的修复局部性。并且对于存储效率而言,与里德-所罗门码(RS codes)相比虽然略高但是低于GRC,因此GRC-NFP的整体性能较优。(2)提出了两种基于超图因子分解进行最优二元局部修复码的构造算法,两种算法所构造的编码能够在多节点故障时使用多个修复集并行修复,即连接的节点数目较少。具体地,使用超图的因子分解的思想,将线性正则超图转化为线性编码后进行因子分解。分解得到的子图的正则次数相同与否决定了两种构造算法的区别。最终得到多种和原始线性编码相同局部性和不同可用性的局部修复码,并且在构造二中考虑数据块的冷热性,使得热数据块拥有较高的可用性。性能分析表明,两种构造算法均能够在合适的参数取值条件下具有最优的码率并且不受参数的限制始终能够达到最优界限。
其他文献
国内传统村落数量巨大,公共空间往往占据着传统村落中最核心的位置,是村落内公共活动、村民日常生活交往的主要空间场所,这些公共空间见证了传统村落内的发展变迁,具有重大的历史文化价值。贵州安顺传统雷屯村落是明朝初期“调北征南”政策下的八大屯军点之一,具有典型的传统屯堡历史文化,别具一格的喀斯特自然环境特征以及内涵丰厚的社会历史人文背景促使村落公共空间的有机生长,是贵州屯堡文化不可或缺的重要组成部分,更是
当前,中国特色社会主义迈向新时代的步伐稳健有力,行政体制改革也进入全面深化阶段。2018年3月,国家质量监督检验检疫总局的管理职责和队伍划入海关总署,海关职能职责增加,队伍规模扩大,亟待解决人力资源紧缺与业务量繁重之间的矛盾,分级分类提升各层级海关工作人员的素质水平对实现建设精品海关和中国特色社会主义新海关的最终目标日趋重要。本文研究国家深化机构改革背景下全员培训的质效,以T海关全面深化改革为背景
复杂电磁环境中多尺度问题的电磁目标散射特性分析成为了近几年来计算电磁学研究的热点之一。而传统积分方程方法在解决该类问题时候经常出现矩阵系统条件数差,迭代收敛困难
电磁超声检测技术因不需要耦合剂、激发灵活、设计简便、环境适应性强等优点,受到了广泛关注并应用于各种金属材料的检测中。但电磁超声检测技术仍有一些待解决的问题,例如电
随着新的管理理念、技术的不断涌现,企业的管理者对管理软件的要求越来越高,企业更加倾向于采用平台、资源共享的通用ERP管理软件。作为这类软件的供应商,在更短的时间内提供
2010年以来,中共中央为继续解决农民增收、农业发展、农村稳定问题,结合发展蓬勃的互联网行业,促进农业进一步发展,颁布了一系列举措和意见,实现大数据农村,绿色和新产业链结合的智慧农村建设。此外,对于互联网平台建设和农产品相结合的方式,国家予以鼓励并支持大力发展,此举将极大程度优化流通方式,减少传统效率的低下进行,从而提升农产品流通效率。农产品传统运输方式主要有物流成本高、买卖双方信息不对称、无法保
近年来我国大规模分布式可再生能源接入配电网,但目前接入技术交直流变换环节多、效率低,另外配电网互联互济和柔性调控能力不足,限制分布式可再生能源的有效消纳。利用双向多端口电力电子变压器构建交直流混合系统,减少变换环节,在更大范围内实现互联互济,提高能源利用效率。因此,为实现分布式可再生能源的充分消纳和高效利用,本文提出了含电力电子变压器的日前鲁棒优化调度模型,日内则建立了滚动优化模型及能够快速求解该
混杂系统是连续变量动态系统和离散事件动态系统相结合,并且相互交换信息的一类系统。其中连续子系统的动态特征随时间的发展而不断变化,离散性子系统的动态演化受事件的驱动
底枢摩擦副是人字闸门的主要承载零部件,在船闸启闭运行时,底枢摩擦副系统受到摩擦磨损作用的影响。一旦人字闸门由于底枢摩擦副过度磨损发生故障,导致水运航线被迫停航,造成巨大经济损失和不良社会影响。对人字闸门底枢摩擦副接触受力情况和磨损失效寿命进行分析建模,快速准确计算底枢蘑菇头接触应力和底枢摩擦副磨损失效寿命节点,及时采取相应措施对磨损失效底枢摩擦副进行维维替换。通过计算获得定量结果信息,寻求新建或改
棉花(Gossypium spp.)是世界性的重要经济作物,是关系国计民生的重要战略物资,为纺织业提供了50%以上的纤维来源。由于产量和纤维品质等方面的原因,目前棉花生产种植的品种几乎都是无色素的白色棉。色彩斑斓的服饰品满足了人们的需求,但棉纺织品在化学印染过程中用到的化学助剂和染料却会对人体造成伤害,排放的大量污水也会造成环境污染。所幸的是具有天然色彩的彩色棉纤维,无需染色就可以直接纺纱成布,因