分布式存储系统中的二元阵列码研究与应用

来源 :广东工业大学 | 被引量 : 1次 | 上传用户:zhll0011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今社会数据总量急剧增长,传统的数据存储方案面对海量数据的存储显得无能为力,而分布式存储系统因具有易扩展、低成本等优势,逐渐成为存储海量数据的绝佳选择。分布式存储系统由众多廉价、不可靠的节点组成,随着系统规模的不断扩展,节点数量的持续增加,系统中存储节点出现故障将成为常态,这就需要采用容错技术来提升存储可靠性。容错技术主要包括副本技术和纠删码技术。副本技术是将数据进行多次备份,虽然可以有效保障数据可靠性,但是会浪费大量存储空间。纠删码技术在保障数据可靠性的前提下可极大提升存储空间利用率。阵列码是一类编解码操作简单、易于实现的纠删码。目前基于阵列码设计的分布式存储系统的容错能力较低,这对保障数据可靠性显然是不够的,因此可以容忍多个节点故障的阵列码对于分布式存储系统很有吸引力。本文首先研究阵列码多列失效的解码问题,其次基于容忍多列失效的阵列码设计了一种高容错能力的分布式存储系统,最后在实际的分布式集群环境中进行测试分析,主要工作和创新点如下:(1)引入一种具有多个校验列的范德蒙德阵列码即NVA码(New Vandermonde Array Code),详细分析NVA码的构造过程,并简单介绍其单列、两列失效解码方法。当NVA码发生多列失效时,根据其构造特点,针对连续可用的校验列数量不少于失效信息列数量的情况,提出一种解码方案,并且把范德蒙德阵列码与柯西阵列码从编解码方法、计算复杂度等方面进行对比分析。(2)基于中继模型设计了一款高容错能力的分布式文件系统BDFS(Binary array coding Distributed File System),BDFS存储系统嵌入了范德蒙德阵列码和柯西阵列码容错机制,具有文件编码、上传、下载、解码等基本功能,可容忍系统中多个节点故障,有效保障了系统的数据可靠性,为纠删码应用于分布式存储系统提供了一种便捷、高效的结合方案。(3)将范德蒙德阵列码与柯西阵列码部署到实际的分布式存储集群中,实现了一个编码存储系统测试框架,模拟多节点故障时的编解码情况,从编码速率、解码速率等方面测试不同阵列码的性能。实验结果表明,在提供相同容错能力的条件下,范德蒙德阵列码的编码效率比柯西阵列码大约高58%,范德蒙德阵列码的解码效率比柯西阵列码大约高70%。
其他文献
机械设备在运行过程中会产生各种类型的信号,通过传感器采集到设备的运行信息,可以实时的监控设备的运行状况。当设备发生故障时,就会出现异常信号,机械设备的故障特征就蕴含在其中,但如何从这些设备运行数据中识别出故障特征一直是一个难题。近年来国家不断推动机械设备往智能化和信息化的方向发展,并鼓励机器学习技术、信息技术以及物联网技术的研究和应用,这为智能故障诊断技术的研究带来新思路和机遇。本文通过深入研究机
捻转血矛线虫是寄生于牛羊等反刍动物皱胃的主要寄生性线虫,以吸取宿主血液为食,患病动物表现为贫血、水肿、腹泻和消瘦等症状,严重者甚至死亡,给畜牧业造成了巨大经济损失。目前捻转血矛线虫的防治主要使用伊维菌素等驱虫药,但随着时间的推移,耐药性问题日趋严重。有研究表明,P-gp-2基因与耐药性相关,本论文结合我们分离的捻转血矛线虫虫株,以国际标准虫株为对照,对此进行了深入研究。(1)利用幼虫移行抑制试验,
在资源开发、冶金、发电、水泥等工业生产过程中会排放大量微细粉尘(PM10、PM2.5),漂浮在空气中的粉尘颗粒不但会降低空气能见度,带来严重的大气污染,如果长时间被人体吸入,还会引发尘肺病和呼吸道疾病等,给大气环境和人体健康都带来了极大的威胁。为了满足日益严格的排放标准要求以及解决目前应用广泛的袋式除尘器在应用过程中存在的问题,扩大其适用范围,达到改善空气质量的目的,本研究以无纺布为基料,在浸渍和
钠硫电池具有高的能量密度和低的自放电率,其功率密度高、原料成本低、适用领域广,是极具应用前景的电化学电网储能技术。然而,由于钠硫电池金属集流体在熔融态的多硫化钠中易于发生腐蚀,导致电池性能和寿命的下降,引发一系列的安全问题。具有优异导电性、耐腐蚀性以及导热性能的导电陶瓷材料是理想的钠硫电池硫极集流体表面防护涂层材料。本文使用热喷涂和磁控溅射的方法在钠硫电池铝及不锈钢集流体表面制备了 Cr2AlC-
全球能源需求的增长和由此造成的环境问题日渐严峻,光伏技术被认为是解决这一问题的关键。为了制备低成本、高效率、能长期使用并对环境污染小的太阳能电池,大量不同的光伏材
多智能体系统的智能性体现在各智能体之间的协同合作。因此,研究多智能体系统的协同控制具有重要意义。一致性问题作为协同控制研究的基础,吸引了研究者们广泛关注,并且取得了丰富的理论结果。值得注意的是大多数研究结果都要求系统中所有智能体的状态趋于一致。而在实际应用中,存在多任务情形,需要将系统中的智能体分成两组或者多组,每组完成不同的任务。与此同时,交互智能体之间的通信拓扑可能随着时间的推移而发生很大的变
如今,随着旋转机械设备越来越复杂化,对其运行状态的实时在线监测具有重要的现实意义。从旋转机械的故障振动信号中提取出能够表征其运行状态的特征信息是故障诊断的关键,信号分析和处理技术是提取旋转机械故障特征信息的常用方法。由于大多数机械故障振动信号具有非线性、非平稳和低信噪比的特点,而时频分析方法能够同时提供非平稳信号的时域和频域信息,具有较强的局部描述能力,因而非常适合处理旋转机械设备的故障振动信号。
随着经济的不断发展,融资租赁在市场经济中的地位也日益凸显,已然成为银行信贷和股债融资外的重要补充,但是租赁行为在账务上的处理方式一直饱受争议,由于经营租赁不在财务报表中体现,容易形成大量的表外融资。2016年1月国际会计准则理事会发布了新的国际租赁准则。为了保证与国际会计准则趋同并更好地规范中国的租赁市场,在2018年12月我国印发了《企业会计准则第21号—租赁》修订稿,规定在境内外同时上市的企业
税收流失风险管理指的是税收管理部门在整体把握纳税人纳税遵从情况的前提下,根据税收流失风险造成损失的情况,采用风险管理的原理及手段合理分配征管资源,选择最适合的风险应对措施,促进纳税人主动遵从,预防和控制税收流失风险,提高税收管理部门治税能力的活动。自2003年国家税务总局以战略规划纲要形式提出防范税收流失风险以来,税收流失风险管理的研究一直与我国的税收征管改革进程相伴前行。近年来减税降费政策作为中
乳腺癌作为常见的女性肿瘤,也是导致女性死亡的重要原因。当前我国乳腺癌发病率增长较快并呈现出年轻化趋势。因此,乳腺癌依然是威胁我国女性健康的重大公共卫生问题。目前乳腺癌病因复杂,与遗传和环境因素密切相关。处于相同环境条件下,乳腺癌风险也会因为遗传差异而不同,这提示遗传变异对其发生进展有着重要影响。因此,通过遗传易感性研究,开展风险预测有助于筛选乳腺癌的高危人群和实施有效的预防措施,降低其发病风险。G