基于最小修复带宽的分布式存储系统编码机制构造的研究

来源 :复旦大学 | 被引量 : 0次 | 上传用户:tuantuan731
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,全球信息数据资源开始呈现出爆炸性增长。图灵奖获得者James Gray甚至提出了关于全球数据总量的摩尔定律:全球数据总量每18个月就将翻一番,也即未来每18个月就能产生出与人类有史以来全部数据总量相同规模的数据。为了满足大数据时代各种大规模存储应用的存储需求,人们开始越来越多地关注分布式存储技术。分布式存储系统(Distributed Storage System,DSS)就是利用一定的技术手段将原始数据分别存储在相互独立的若干台设备上,并能通过不同程度的数据冗余来提供对数据的可靠访问。然而分布式存储系统中相互独立的各个节点本身会因为各种原因发生失效。随着分布式存储系统规模的不断扩大,这种节点失效的情况出现得越来越普遍。因此,构建分布式存储系统需要面临的一个问题便是节点修复:为了使系统能够保持相同的可靠性,当一个存储了编码信息的节点发生失效后,必须在新的节点再生出丢失的编码信息。本文对采用纠删码的分布式存储系统进行研究发现,即使为了修复某一独立的失效节点,修复的过程也必需先恢复出完整的原始数据,再根据原始数据再生出有效的数据片段。为了更加有效地进行节点修复,降低修复带宽,提高存储效率,本文重点研究了基于最小修复带宽的分布式存储系统编码机制。Dimakis等人创造性地将网络编码技术与分布式存储结合起来,定义了针对节点修复问题的若干种再生码(Regenerating codes),并得到了存储容量与修复带宽之间的基本权衡关系。Wu等人在此基础上,利用最大距离可分离码(Maximum distance separable code)以及系统性(Systematic)码的特点设计了相应的系统性MDS编码(Systematic MDS codes)机制,当d=k+l时实现了理论上的最小修复带宽。本文分析比较了Wu的编码机制与其他实现最小修复带宽的编码机制,指出了Wu的构造客观上所存在的局限,然后对Wu提出的系统性MDS编码机制进行了拓展。拓展后的构造形式简洁,并且比Wu的构造更具一般性,在不提高有限域尺寸的前提下,使拓展后的构造在进行节点修复的过程中继续保持系统性属性与MDS属性,且使构造中系数的选择更加灵活,为节点修复提供更多的组合方式,进而可以满足更多应用场景和网络状况下的需求。
其他文献
生物信息学中,随着完成测序的生物的增加及对基因功能的更深入广泛了解,生物网络包括代谢网络、基因调控网络、信号转导网络等的研究也越来越多。许多微生物几乎完备的信息已
本文以宝钢2050热轧过程机为研究对象,提出建立精轧过程机智能化仿真系统的必要性:建立该系统是热轧现场、建立模型和系统仿真的需要;可以利用实际的生产过程数据对轧制过程进行
随着应用领域的不断拓展和多媒体技术的日益熟练,人们发现关系数据库的许多限制和不足,许多文档数据用关系数据库存储起来,用户很难实现文档版本控制、全文搜索和优化存储等
网格计算(GridComputing)就是指将分布的计算机组织起来协同解决复杂的科学与工程计算问题,适用于大型科学计算和研究项目。上海高校网格-e-网格计算应用平台项目实现了将分布
本文对入侵检测中智能算法的实现进行了研究。文章首先通过分析当前入侵检测系统中检测方法所存在的一些问题,并结合支持向量机分类算法的特点,将支持向量机作为检测算法应用到
近年来,在工业、金融、科学研究、工程实践等领域中为了解决多目标优化问题都面临了诸多的挑战。优化问题的初衷是优化系统给用户提供相对满意的决策。通俗的讲,优化问题可以归
自然界中大规模运动的群体常常呈现出美丽的图案,譬如游动的鱼群,飞行的鸟群以及微生物界的细胞群体。这些看似杂乱无章的运动个体为什么会形成如此美妙的运动行为,每个个体
本论文主要讨论和研究了两方面的问题,一个是组播安全的组密钥管理问题,另一个是代理签名问题。  目前组播技术已在电子商务和电子政务等网络应用中得到了广泛应用,与此相对应
在众多网络技术中,IP与ATM(AsynchronousTransferMode)结合的IP-over-ATM技术成为当今研究的焦点。IP-over-ATM是建立在交换虚通道SVC(SwitchedVirtualChannel)基础上的,对SVC
可穿戴计算是移动计算技术向纵深发展的高级阶段,可穿戴计算机是一种能够随使用者任意移动的新型计算机系统。可穿戴计算技术不同于传统的交互模式,它使得人和计算机成为一体,体