云存储环境下数据可靠性的研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:easyk8
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云存储作为从云计算领域延伸和发展出来的技术,为企业和用户提供了极大的存储空间和按需定制的计算资源。通过将数据迁移到云存储服务器上,用户没必要考虑底层硬件管理的复杂性,与此同时,用户数据的安全性成为服务质量的重要方面。高可靠性的数据冗余策略能够更好地满足用户的需求,提高系统的访问效率。   由于云存储数据节点的分散性及网络的不稳定性,GFS和开源HDFS的数据冗余策略都将文件分割为64MB数据块进行备份存储,该策略不能使文件存储成功的概率达到最优。完整副本冗余策略是将分割后的数据对象创建多个相同的副本,然而,副本数量的增加会给系统带来带宽、性能和存储空间等方面的开销,并且该策略不能解决系统中多节点同时失效的问题,近期亚马逊存储服务的崩溃就是一个典型的案例。因此有必要设计新的数据分割及冗余策略来提高云存储环境下的数据可靠性。   要提高系统的资源利用率,增强系统抗节点失效的能力,关键需要解决数据块冗余策略问题。针对云存储环境下数据节点的失效问题,通过建立云存储文件分割的最优化模型,使文件存储成功的概率达到最优。该模型对不同大小的文件设置不同的分块数,并给出了文件最优分块数NBest的计算方法。将纠删码冗余技术应用于该模型提高数据节点的容错能力;为避免单服务器节点失效给系统带来影响,提出了基于分散式服务器的RS码算法;选择合适的服务器对数据块完成编码和解码,提高了系统的吞吐量,并设计提出了基于纠删码的云存储数据可靠性系统架构。   在P2P网络仿真工具Peersim1.0.5上对提出的模型和数据冗余策略进行了仿真。分别从冗余度对系统可靠性的影响、相同冗余度下文件分块数量对系统可靠性的影响以及存储空间利用率等方面进行了仿真评估。实验结果表明,通过与数据复制冗余策略进行比较,当系统冗余度较小时,纠删码冗余可以获得较高的数据可靠性和资源利用率。因此纠删码冗余策略在节约存储空间的情况下,解决了系统中多节点同时失效的问题,更加适应开放复杂的分布式存储和云存储环境。  
其他文献
在计算机视觉领域,图像分割一直是一项关键技术,其目的是将图像中具有特殊意义的区域分割开来。作为高层次图像处理的初步阶段,图像分割一直起着至关重要的作用,例如目标定位
随着2010年苹果公司发布iPad,平板电脑这一产品引起人们的关注,受到了广泛欢迎,并且正在逐渐改变人们的生活和娱乐方式。平板电脑市场定位介于智能手机和笔记本电脑之间,在移动和
随着无线传感器网络应用的日益广泛,对无线传感器节点位置信息及其准确性的要求不断提高,如何使无线传感器网络的定位更加准确,吸引了众多研究学者的广泛关注。现有研究主要
图像目标识别是图像理解和计算机视觉领域的热点问题之一,在军用、商用、民用等诸多场合均有广泛的应用前景。而图像中目标物体的定位及图像特征的提取是计算机视觉中一项重
墒情是影响农作物生长的重要条件,对作物的生长和产量起着决定性的作用。农田墒情监测是农业信息化建设的一个重要研究内容,也是数字化农业的发展方向。本文以明光市为例,研究设
在当今信息社会里,各行各业需要处理的数据规模越来越大,然而数据分析技术严重缺乏,无法在海量的数据中发现数据之间隐藏的联系,出现了“数据多,知识少”的现象,数据挖掘技术应运而
农业是关系国计民生的支柱产业。我国农业生产中绝大多数农民的科学施肥意识淡薄,盲目施肥、过量施肥的现象极其普遍。为了解决我国农民施肥中存在的问题,农业部开展了测土配方
软件安全问题一直以来倍受学术界和工业界的广泛关注,据2016年BSA发布的全球软件调查结果显示,2015年全球个人电脑安装的软件中39%都是非法授权使用的,这些非法授权使用的软
数字几何处理技术是计算机图形学的一个重要分支,近年来在多个领域都得到了长足的发展,而网格模型变形技术作为其中的重要组成部分,得到了国内外众多专家学者的研究与关注,且
泰纳瑞斯是为能源行业和其它工业应用提供管线产品和服务的全球领先的制造商和供应商。除了10个钢管生产厂外,此外在世界各地分布有100多个丝扣加工及修理点,营销及服务网络遍