云存储系统的容错机制研究

来源 :华南师范大学 | 被引量 : 0次 | 上传用户:striveadvance
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
存储系统经历了单盘系统,磁盘阵列(Redundant.Arraysof Inexpensive Disks,RAID),开放系统的直连式存储(Direct-Attached Storage,DAS),网络附属存储(Network Attached Storage,NAS),存储域网络(Storage Area Network,SAN)以及分布式存储系统几个发展阶段。随着数据量的急剧增长,数据存储需求对存储系统的可靠性、吞吐性能提出了更高要求。分布式存储系统能够分散数据服务器的压力,获得较高的吞吐量提供高可靠性、高性能的数据存储能力。故分布式存储系统成为当前服务供应商常用的存储技术,其中云存储就是一个很典型的应用。  自从云计算提出以来,企业界与学术界对云存储进行了广泛研究。其中大部分云存储平台的容错机制为副本冗余机制。该机制的优点在于系统实现简单、能达到服务器负载均衡的目的、有较高的吞吐量,但副本备份需要消耗大量的存储空间。针对副本冗余机制消耗存储空间多的问题,有学者提出采用纠删码容错机制作为云存储系统的容错机制。采用这种方法能够减少备份所消耗的存储量,且能够提供较高的可靠性,但是将降低服务器负载均衡能力。  针对上述情况,本文提出了一种在云存储平台下通过维护一张文件访问频率表来自适应调整容错方式的容错机制AFSFM。在AFSFM中对于常读取的文件采用副本冗余容错机制,以获得更高的吞吐量和服务器负载均衡;对于不常读取的文件采用纠删码容错机制,以减少备份数据所花费的存储空间。  本文主要工作如下:  1)分析总结了纠删码在分布式系统中的实现原理具体实现步骤;  2)分析了开源云存储平台HDFS系统架构、通信方式以及工作原理。  3)在前两点的基础上的实现了AFSFM框架,并对关键步骤进行了分析说明;  4)针对AFSFM的特性设计实验对AFSFM的可靠性以及AFSFM的系统性能进行了验证和测试,并对实验结果进行了分析。  实验结果表明:AFSFM框架能够正确地恢复受损数据,具有较高的可靠性;AFSFM在内存占用,特别是内存Cache占用率上要大于使用副本冗余机制的系统;AFSFM在CPU使用率上AFSFM要稍高于使用副本冗余机制的系统;AFSFM在较使用副本冗余机制的系统在内部吞吐量是有所减少。综合上面分析,证明AFSFM基本达到了预期的效果,有其自身的优越性。
其他文献
目前电力生产企业竞争加剧,企业越发期望通过加强管理降低成本、提高竞争力,期望通过信息化带动电力工业发展。企业对生产管理系统的可靠性、安全性、可维护性、可生存性提出
随着多媒体技术以及计算机互联网技术的迅速发展,人们生活中触手可及的多媒体数据呈现爆发式的增长趋势,从而形成了海量多媒体数据。同时,由于新一代交互式网络技术的出现,使
OpenSim是一个遵循BSD开源协议的分布式三维虚拟环境服务器,允许任何遵循林顿实验室网络协议的客户端访问。为开发高逼真性、交互性和沉浸性的三维虚拟学习平台提供了基础的
Web服务是一种使用标准的工业技术来描述(WSDL)、发布/发现(UDDI)和通讯(SOAP)的基于Internet的新型分布式计算技术,它为企业级应用程序能更好更容易的无缝集成提供了一种极
光刻设备的分辨率越来越高,以满足集成电路特征尺寸不断缩小的要求。根据瑞利判据,可以通过缩小曝光波长和工艺因子、增大数值孔径来提升光学投影光刻的分辨率。随着数值孔径的
工业3.0与虚拟现实、增强现实技术都是当下炙手可热的话题,这些技术都扎根于计算视觉技术,其中三维重建技术作为计算机视觉领域当中一个重要的方向,得到了广泛的研究。工业3.0的
“问题解决”通常被定义成一系列的有目的指向性的认知操作活动过程给学生提供自己发现事物的机会是问题解决教学的积极提倡者波利亚对“好教育”提出的重要评价指标。而随着
业务流程管理是企业管理和计算机领域的交叉学科,已成为近年来企业信息化关注的热点之一。业务流程管理对企业业务流程进行提炼,划分成多个活动,并建立相应的流程模型,将这些
随着今天高端计算机游戏以及动作电影视觉特效的广泛应用与普及,仅通过纹理贴图早已不能满足用户需求。然而,为三维模型制作逼真的表面外观,即在包含丰富的几何细节变化,如金属的
随着科技的发展及战争的需要,导弹武器系统中电子设备越来越多,越来越复杂。“十一五”期间,我国新型导弹武器系统的研究取得快速发展,弹上计算机的处理速度也得到大幅度提高。如