分布式存储系统中基于纠删码的备份与修复技术研究

来源 :国防科学技术大学 | 被引量 : 1次 | 上传用户:weiyuhang99
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式存储系统通过多节点存储和管理数据,能够实现数据的海量存储。这类系统一般采用商用服务器节点构建,节点的频繁失效使得数据的可靠性较低。纠删码技术可以通过对数据进行编码,实现数据的冗余存储,提高数据的可靠性。然而,将纠删码应用于分布式存储系统时,会出现数据插入效率低、失效数据的修复开销高、修复时间长等问题。本文针对这些问题展开研究,取得了以下成果:针对传统纠删码方案下数据插入效率较低的问题,提出了一种面向数据插入的均衡分发方法,以有效减小数据插入时间,提高插入过程的吞吐量。该方法的基本思想是:将各数据块拆分为粒度更小的数据片,利用中间节点间的传输能力转发数据片,达到并行传输的效果;将并行传输下的数据块划分方案建模为一个二次规划问题,求解出最小插入时间,获得最优的数据块划分方案。实验表明,与传统的星型数据插入模式相比,该方法降低了数据插入时间,提高了插入过程的吞吐量,提高了数据插入效率。针对纠删码在数据修复时开销较高的问题,提出了一种交织层次复合码,称为IZSHC。采用IZSHC,以有效降低数据修复时从磁盘读取的数据量和数据传输量。构建IZSHC的基本思想是:通过分解IZS码的重复码结构得到最小的IZS编码组,将IZS编码组的数据修复开销小的基本特性融合到层次码中;利用层次码的层组结构对IZS编码组进行扩展,减少数据修复时参与修复的节点数目。该方法将IZS码的重复码可分解特性与层次码的分层分组模式结合起来,从总体上降低了修复开销。实验表明,与纠删码相比,IZSHC减少了数据修复中参与的节点数目,使得修复中的总磁盘开销与总传输带宽开销降低。针对纠删码下的单节点修复方法修复时间较长的问题,提出了一种协作式的多树修复方法,以有效减小单节点修复时间。该方法的基本思想是:通过将网络中更多的可用带宽组织成多树实现对单个数据块的协作修复模式,每个树单独修复数据块的一部分,加快修复过程;通过迭代式的边交换方式尽力提高每棵树的瓶颈带宽,实现对网络带宽的充分使用,进一步减小修复时间。实验表明,与基于网络编码的单树修复模式相比,能够减小失效节点的修复时间。针对纠删码下的多节点修复方法修复时间较长的问题,提出了一种基于MSR码的多树修复方法,以有效减小节点平均修复时间。该方法的基本思想是:依次为每个失效节点构造一棵极小最大瓶颈生成树;在每次构造单树时,在不减小当前树中瓶颈带宽的前提下,将其它带宽较大的边留给余下的树的构造,提高这些树获取更大瓶颈带宽边的机会。该方法有效利用了并行多树中瓶颈带宽之间的关联特点,实现了对网络中可用带宽的高利用率。实验表明,与现有的多节点并行修复方法相比,能够减小节点的平均修复时间。
其他文献
跨国企业正日益成为企业寻求发展机遇的必经之途,但在跨国经营中,企业也面临着不少的挑战。尤其是当环境问题、安全健康问题受到广泛关注时,跨国企业在其中应发挥的作用也受
介绍了新型活性炭脱硫技术在冶炼烟气制酸装置尾气脱硫中的应用,详述其反应机理、工艺流程、技术特点、主要设备及实际运行情况。生产实践表明,脱硫后尾气可达到国家排放标准
对汽车结构件四门外板支撑板共模开发的新工艺进行了阐述,介绍了4件共模的新工艺新方法相对于传统合并共模工艺的优点及技术特点。
目的了解河南省居民对烟草危害的认知和对公共场所禁烟的态度,为开展针对性的控烟工作提供依据。方法于2010年8—9月,采用4阶段分层整群抽样的方法,抽取河南省2056名15~69岁居
互联网金融的概念互联网时代的到来不仅对人们生活造成了影响,也促使人们的思维发生了转变.与此同时,互联网金融的强势崛起也对我国商业银行的发展建设造成了巨大的冲击.互联
期刊
随着经济的发展和社会的进步,科学技术不断更新,各机械制造业中零部件的形状日渐丰富,加工的效率越来越高,需要的时间也越来越少。作为先进加工技术的多轴加工技术,在机械制造业中
今年第三季度,我市洽谈项目数量相当于上半年总和的70%,成绩进步的背后,是全市上下招商队伍的不懈努力。人才是第一生产力。南昌要想打赢招商引资攻坚战,最关键的就是要发挥人的
报纸
以四川邛海为研究对象,研究了表层沉积物中总有机碳(TOC)、TN和TP的分布特征,对邛海表层沉积物中营养盐的污染状况进行了评价,并分析了表层沉积物碳-氮-磷两两之间的耦合关系。
<正>中国共产党在十八大和其十八届三中全会上,做出了一系列关于国有企业改革的重大战略部署。国有企业和国有资产是全体人民共同拥有的财富,治理好它关系到全民的利益。国家
本文在理论的基础上进行实证研究,基于多元线性回归模型,对2010年1月到2017年12月我国房地产上市公司股价的影响因素进行实证分析,说明了上证综合指数、汇率和房地产新增固定