分布式存储系统中节点修复算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:jchangmafco
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着信息技术的飞速发展,数据海量化逐渐成为一种趋势。如何有效可靠地存储这些海量数据成为一个亟待解决的问题。针对传统集中式存储在可靠性、可扩展性等方面的局限性,分布式存储系统以其低成本和高可扩展性等特点,逐渐赢得广泛关注。为保证系统的可靠性,分布式存储系统常采用冗余存储的方式,以牺牲一定的存储开销为代价来换取系统可靠性。复制与纠删码是分布式存储系统中2种传统的冗余存储策略。为解决复制策略在存储开销方面以及纠删码策略在修复带宽开销方面的不足,网络编码技术被引入到分布式存储系统中,称为再生码,用于均衡系统存储开销与修复带宽开销。本文重点针对基于再生码的节点修复方法进行了研究,主要工作如下:(1)基于MSR码的分布式存储系统单节点修复算法由于人为操作失误或机器故障等原因,常常导致分布式存储系统中某些节点不可用,无法获取节点上存储的数据,这样的节点称为失效节点。为维持系统的可靠性,设计一个良好的节点修复机制对失效节点进行修复,对于分布式存储系统非常重要。本文提出了一种新的基于MSR码的分布式存储系统节点修复算法,该算法可以对单节点进行确定性修复。该算法首先对系统中的节点进行分组,对原始文件进行分组存储,每个节点都有其对应的唯一分组,且各个分组相互独立。其次,每个分组内,采用异或算法对原始文件数据块进行编码存储,不涉及有限域乘法等高级运算。最后,解码时,各分组可同时独立进行,同时,新生节点对失效节点上数据进行修复时,只与该分组有关,通过连接该分组其他存活节点并下载少量数据进行异或运算即可完成精确修复,减小磁盘I/O开销与修复复杂度。(2)基于MBR码的多节点协作修复算法除了单节点失效外,在分布式存储系统中,多节点同时失效的情况也时有发生,并且,在有些分布式存储系统中,采用的是延迟修复,即失效节点数目达到一定数目时,才启动修复过程,因此,对分布式存储系统的多节点修复算法进行研究也是很有必要的。相比于将多节点修复分解为单个节点依次修复,多个节点协作修复能减小修复带宽开销。本文对基于MBR码的多节点协作修复方法进行了研究,给出了一种新的基于MBR码的多节点协作修复方法。理论分析表明,本文所提方法达到了其修复带宽的理论最小值。
其他文献
一直以来,对历史概念的理解在历史学习中有着十分重要的地位和作用。它不仅是历史知识体系的重要组成部分,更是学生学习和掌握历史知识的关键因素。2017版课程标准要求,历史教育要注重培养学生的核心素养,通过历史课程的学习,认清历史发展的脉络。历史概念正是在历史理论的指导下,通过对历史基础知识进行总结和概括后得出的,在一定程度上能够揭示历史规律,因此,重视对历史概念的教学是必要的。与初中教材相比,高中历史
随着国民经济的快速增长,大量山区高速公路建设项目启动。山区高速公路中,软岩边坡因具有破坏性、多发性以及岩体参数不确定性等特点,其稳定性问题备受工程师和专家学者们关注。本文结合清连高速杉岗风化岩高边坡的变形监控,开展岩质边坡稳定性与新型防护材料应用的研究。通过深部位移监测数据对边坡稳定性进行初步判断,再通过PLAXIS 3D软件对边坡进行数值模拟,结合监测与数值模拟的结果,对边坡进行防护设计,并针对
能源是影响我国国民经济发展的一个重要因素。石油化工企业作为第二产业的主体支柱行业之一,为我国农业、工业、现代服务业的高速腾飞提供了必不可少的能源保障,在国民经济中占有非常重要的地位。然而由于受未来五年世界经济复苏的影响,我国石油化工行业受到明显的冲击。根据《石油和化学工业“十三五”发展指南》,预计在“十三五”期间,全行业主营业务收入平均增长率将“腰斩”至7%左右,到2020年主营业务收入将下降到1
在信息技术高速发展的当今时代,各种新科学、新技术层出不穷,推动着人类文明的不断进步。在众多领域中,计算机技术、网络通信技术和智能控制技术的发展尤为突出。不仅物联网
随着人工智能研究的不断发展,如何实现更好的人机交互成为目前的研究热点,而大多数工作则着眼于通过机器人性化以达到增强交互作用的目的。人机交互形式多样,研究最为广泛的
近年来,射频能量收集技术已经逐步成熟并走向应用,关于该项技术的进一步研究也已经拓展到其他诸多技术领域。其中,基于射频能量收集的中继技术集成了协作中继和射频能量收集
在机械臂视觉分拣任务中,机器人的视觉定位和自主避障抓取是机械臂柔性作业的保障。为了满足复杂场景中机器人的自主定位和决策要求,本文详细探究了基于散乱堆叠场景中物体快速六自由度位姿估计及机械臂自主避障抓取技术。首先,本文基于弱关联点对特征投票的3D视觉定位技术,详细探讨了视觉定位过程中的平面分割技术、点云的快速搜索策略和点云法向量的鲁棒性估计策略,改进和优化了PPF方法中的若干关键技术细节。本文直接通
水面传感器网络是由分布在水面上的若干具有特定任务(如检测水面的物理属性)的传感器节点组成,普遍应用于水质监测,采油监控,水污染防治等,有着极大的应用价值和广阔的发展空
无刷直流电机是结合电机控制技术、微控制技术和电力电子技术于一身的新型直流电机,凭借其结构简单、转矩电流比大、控制性能优异以及效率高等优点,应用范围遍及电动汽车、工业自动化、日常办公、医疗设备以及航空航天等众多领域。但由于无刷直流电机独特的物理结构和控制方式,方波驱动的无刷直流电机(Brushless DC motor,BLDCM)工作时会产生较大的转矩脉动,对BLDCM的性能造成严重影响。转矩脉动
土地沙漠化是当今全球最严峻的生态环境问题之一,也是我国西北干旱区面临的主要生态环境问题,它直接威胁到人类生存环境的安全和社会经济的稳定。利用连续多年遥感数据监测土地沙漠化变化已是当前土地沙漠化研究的重要手段之一,然而,在具体区域运用何种数据与何种方法来监测,仍是需要深入研究的科学问题。本文以新疆塔里木盆地为研究区,选用2000至2018年的MODIS-NDVI-1000 m、MODIS-NDVI-