基于二元阵列码的分布式存储系统设计与实现

来源 :深圳大学 | 被引量 : 0次 | 上传用户:ppmm112233
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式存储系统具有存储容量大、扩展灵活、成本低廉、可靠性高等特点,但由于规模庞大、节点可靠性低常发生节点故障。传统纠删码提高了系统可靠性,但修复过程中需要k倍于失效数据的磁盘I/O和网络流量,这种修复放大问题严重影响了故障修复性能。因此,如何解决修复放大问题已经成为纠删码研究的重要课题。为了降低修复放大问题的影响,针对单节点的修复,本文引入一种具有渐进最优修复带宽的二元MDS阵列码,结合分布式存储系统HDFS,设计出一种具有3容错能力的纠删码分布式存储系统Coded-DFS。本文通过在集群中部署Coded-DFS存储系统进行功能、性能评估实验。实验结果表明,Coded-DFS存储系统不但能保障数据可靠性,还能减少修复中的磁盘I/O、网络流量,有效提升纠删码存储系统的故障修复和降级读效率。本文的主要工作和创新内容如下:1.本文调研二元阵列码的研究现状,针对单节点的修复放大问题进行讨论和分析。调研目前分布式存储系统中的纠删码应用状况,以及纠删码分布式存储系统存在的缺陷与需求。引入一种具有渐进最优修复带宽的二元阵列码——NBMA(New Binary MDS Array)码,从理论与应用可行性角度进行研究,并给出具体的修复算法。2.分析分布式存储系统HDFS的工作机制,针对纠删码与HDFS平台结合的设计方案与实现技术进行研究。结合阵列码,通过Hadoop API设计文件的编码、下载、分块读取、文件状态检测等功能。3.利用中转修复的思想,基于HDFS平台实现包括NBMA码在内的多种纠删码的文件存储系统Coded-DFS,从工程实现的角度对纠删码的编码、修复、解码等功能进行优化。为纠删码的系统实现、功能测试提供一种快速的解决方案。4.搭建实际的分布式纠删码存储集群,通过模拟节点失效分析NBMA码的可靠性。从编、解码效率、修复带宽、计算复杂度、磁盘I/O等角度进行对比分析。实验表明,在合适的参数下NBMA码的修复带宽分别比CRS码、X-码少45%、25%左右。
其他文献
飞机起落架是一种用于起降、滑跑的装置,它在整个飞机中占有重要的位置。然而飞机起落架中的防扭臂结构极易在飞机降落过程中发生破坏,故对防扭臂结构进行优化设计极其重要。国内外学者主要是对防扭臂结构进行尺寸优化设计,很少有学者对其进行拓扑优化设计,即使有学者对其进行拓扑优化设计,也只是通过理论计算获得工况条件或利用前人得到的试验数据作为工况条件,很少有学者利用虚拟样机技术(ADAMS)对整个起落架进行落震
学位
随着产业技术升级,智能安防监控、图像采集、目标识别与追踪等设备在粮库安全保障中得到大面积推广。安防视频监控系统能够对粮库主要的进出口储粮通道、库区、作业点、器械
并联管路流量分配不均匀问题广泛存在于油田油气集输系统中,转油站来流系统来流的不确定性导致并联管路“偏流”工况的产生,来流在管道中的相态和流态随压力和管道形态的不同
近年来,随着深度学习在计算机视觉领域取得了极大的成功,基于深度学习的智慧监控系统研究也获得研究人员的广泛关注。行人再识别问题作为智慧监控系统的重要组成部分,在寻找
本文研究磁性材料铁磁链模型及其相关模型解的问题,铁磁链方程中最重要的方程就是LL方程,他是描述铁磁性材料磁密度演化的基础方程.在文章中我们构造了具有有理分数形式的薛
无标定视觉伺服根据目标特征在图像空间内的误差信息,通过视觉映射模型将平面图像误差映射到三维空间,引导机械臂实现空间定位。无标定视觉伺服在不确定的工作场景和执行较为
白光发光二极管为固态照明领域提供了新的环保机遇,大大降低了全球能源消耗和二氧化碳气体排放。另外,它们还展现出低成本,易于微调,可加工性,低毒性,设备制造有足够的灵活性
近年来,自动驾驶研究、智慧交通建设突飞猛进,车辆检测技术成为业界的研究热点。由于深度卷积神经网络具有一定的旋转与平移不变性等特点,在车辆检测任务中得到广泛应用,其中
中柬友谊源远流长,早就有中国人移居柬埔寨,他们在柬埔寨落地生根,发展经济、重视华文教育、建立华文学校。金边作为柬埔寨的首都,是华人居住最多的城市,也是华文学校办学规
经验提炼田东县建立农村金融组织、信用、支付结算、保证保险、抵押担保、村级服务等"六大体系",后又以信用建设为核心,建立"田东县普惠金融服务平台",对"六大体系"进行改造