应用于分布式存储系统上的纠删码技术研究

来源 :中国科学院成都计算机应用研究所 | 被引量 : 0次 | 上传用户:dousansan33
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络技术的飞速发展,办公自动化和企业信息化的不断普及,人们开始意识到数据的本地化存储虽然具有存取性能的优势,但是无法有效克服硬件故障、地震、断电等对数据造成的危害,因此在安全性要求的推动下,分布式存储技术逐渐成为存储技术发展的热点。在分布式存储系统中由于数据使用者和存储设备分散在网络上的不同位置,因此如何在突发情况下将数据灾难造成的损失降到最低限度,如何更为有效的保护重要数据,成为构造高可用性和高容错性的分布式存储系统需要解决的首要问题。 在分布式存储系统中,为了获得较高的数据存取率且保证可靠性,通常采用冗余容错的方法,其中最基本的两种容错方法是完全数据复制和磁盘阵列技术,完全复制就是将文件的多个副本分布到系统中不同节点,实现冗余容错。完全复制虽然具有读写效率高,容错性能较好的优点,但是随着分布式存储系统规模的不断扩大,完全复制会带来相当高的带宽和存储代价。磁盘阵列技术就是将多个小型廉价的磁盘驱动器组合成阵列形式以达到单个大型磁盘驱动器所无法达到的数据安全性和冗余性。磁盘阵列技术虽然在一定程度上增强了分布式存储系统的可靠性,但是纠错能力不强,一般的RAID系统使用奇偶校验码技术来保证数据的可靠性,因此只能容许一到两个磁盘出现故障,无法满足分布式存储系统的需要。 由于完全复制和磁盘阵列技术不能有效适用于分布式存储系统,基于纠删码技术的冗余容错方法被研究人员提出从而为构造高可用性和高容错性的分布式存储系统提供了一种有效容错机制。随着纠删码技术研究的不断深入,如何设计纠删能力好、编译码速度快、算法简单且易于软硬件实现的纠删码成为分布式存储系统研究的重要课题。本文对目前分布式存储系统中应用的三类主流纠删码技术进行了深入研究,提出了相应的新型纠删码以增强分布式存储系统的可靠性,同时还讨论了将改进的纠删码技术应用于控制系统的可行性。本文的主要成果和创新点如下: 1.在X码的基础上提出了一类最小距离为4的MDS阵列删除码一扩展X码,并从理论上证明了扩展X码的MDS特性。同时,给出了扩展X码纠两列、三列删除错和纠单列突发错的三种译码算法,与目前的其它纠双错的阵列纠删码和纠三错的RS类纠删码进行了比较和分析,扩展X码提高了纠错效率、编译码算法简单、易于软硬件实现,非常适合应用于RAID系统。 2.在分析了基于X码和RS码技术的分布式存储系统的基础上,为进一步增强系统容错能力提出了一种改进的二维分布式存储系统。该系统将数据服务器中的数据组织成具有行列坐标的两维实体,在列上将X码和RS码两种编码方法综合运用产生校验信息,在行上实行基于异或运算的校验。通过实验表明经改进的系统较采用RS码技术的系统减少了数据恢复时间,较采用X码技术的系统增加了容错数量。 3.通过介绍LT码,进一步探讨了Raptor码预编码技术是影响Raptor码译码的核心技术,在分析了Raptor码多层校验预编码技术的基础上提出了基于RS码的改进方法,从而提高了Raptor码的译码率。 4.在建立高可靠性控制系统的过程中,研究人员提出了一种基于软件冗余的容错模式一流程对模式,该模式无法解决校验点信息在传输过程中出错或接受不完全的问题。针对上述问题提出了首先应用LDPC码将主服务器发送到备用服务器中的校验点信息进行通信编码,其次运用RS码将备用服务器接受到的校验点信息进行本地编码,分析结果表明改进方法有效解决了上述问题,进一步增强了控制系统的可靠性。 5.讨论了将基于扩展X码的容错方法应用于控制系统的可行性,并且将其应用于火箭控制系统。 6.采用宏编码技术作为Justesen码的外码,由于在同样的有限域上宏编码的码长远远超过了RS码的码长,因此有效改进了Justesen码的容错能力。
其他文献
近年来,伴随着互联网时代的数据大爆炸,面向大规模、高噪声数据的快速聚类分析技术逐渐发展成为了数据挖掘和机器学习领域的热点研究方向。聚类分析技术有着非常广阔的应用前景
在互联网时代,浏览器是桌面计算机和移动终端中最重要的应用,并已逐步发展为通用的网络计算平台。浏览器支持的网络编程语言是JavaScript语言,采用JavaScript语言编写的程序内嵌
由于其巨大的能量消耗和持续不断的发展,数据中心的能效问题已经成为当前信息技术领域研究的一个热点。基于动态速率调节、休眠模式的高能效资源调度,以及虚拟化和云计算环境中
军事物资调拨决策支持系统建设的目的是通过对现实军事勤务的梳理和分析,设计适当的模型和算法,对军事物资调拨的全过程进行决策支持,以提高军事物资保障的效率,实现军事物资保障
学位
随着信息通信技术的发展和互联网的广泛应用,教育信息化成为21世纪教育改革和发展的主旋律之一。高校研究生教育作为知识创新和高层次人才培养的主体,如何充分利用Internet网
为了适应经济全球化趋势和快速发展的信息技术,中国海关的信息系统和业务模型也在频繁变化以适应区域经济组织和世界海关组织(WCO:World CustomsOrganization)的数据标准、业务
学位
随着芯片制造工艺技术的发展,不断缩小的特征尺寸和持续降低的供电电压,尤其是指数增长的晶体管数目,使得现代处理器越来越容易发生软错误。软错误已经成为限制处理器发展的关键
矢量场可视化是科学计算可视化的一个经典分支,在科学研究与工程计算等许多领域有着广阔的应用前景。有效高质量的多尺度矢量场可视化技术将不仅能够以不同层次细节信息反映矢
随着保险精算在寿险事业中的作用越来越大,保险精算的信息化也逐步提上日程,作为我国第一个精算科研机构,中国精算研究院积极推动保险精算的信息化,对精算信息智能交换系统项
学位
随着信息技术在各个行业越来越广泛的应用,如果企业要在市场竞争中立于不败之地,就必须更有效的利用业务数据及时对市场变化做出响应。其重要性是毋庸置疑的,但我们在欣喜的