SKYFS分布式文件系统元数据快照的设计与实现

来源 :第 23 届全国信息存储技术学术会议 | 被引量 : 0次 | 上传用户:yjq360124
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  二十一世纪以来,随着信息全球化的发展和电子商务、社交网络等新兴网络应用的普及,各领域都出现了数据爆炸的现象.KPCB的报告显示,目前全球网民总数已达24亿,Facebook每天处理25亿条内容,超过500TB数据,而twitter每天产生2亿条信息.在国内,2013年中国产生的数据总量超过0.8ZB,是2012年的两倍,相当于2009年全球的数据总量.数据的爆炸式增长使得分布式文件系统逐渐代替本地文件系统成为企业的基本数据存储方式.其中较为典型的系统包括GoogleFS、Lustre、Ceph等.同时,数字信息化也对存储系统的数据安全性提出了更高的要求.越来越多的企业将其业务数据、客户信息等进行数字化存储,数据信息成为了企业的重要资源和核心竞争力,数据的安全性变得越来越重要.常见的可靠性技术分有备份、日志和快照等.数据备份存在备份窗口问题,不仅仅影响用户体验,而且不能满足像银行系统这样不间断服务用户的要求.日志具有连续性,会占用较大的空间开销,此外,为了恢复数据,需要撤销日志,随着日志增大,撤销操作的时间开销也会增大.基于文件系统的快照主要通过写时复制或写时重定向实现.快照的空间占用量可随着数据的增长而逐渐增加,存储空间利用率高,并且支持目录级和文件级的快照粒度.目前支持快照功能的分布式文件系统主要有HDFS、GoogleFS、Ceph等.文件系统级的快照空间开销低、支持多种快照粒度、灵活性强,在大规模分布式存储系统中是一种较为理想的数据保护方案.其中分布式系统中快照的执行分为两部分:针对元数据的快照和针对数据的快照.随着数据规模的增大,元数据IO操作在整体IO中的比例会超过50%,元数据快照对于快照功能的可用性和性能都有很大的影响,本文针对分布式文件系统元数据快照的创建恢复开销进行了深入研究,并设计实现了分布式文件系统SKYFS中的元数据快照功能.本文的主要的贡献包括:1.提出了一种基于松散时钟同步的快照一致性算法.传统的互斥锁一致性算法会导致系统正常服务阻塞,而基于版本控制的一致性算法会导致系统带宽下降50%.本文的快照一致性算法可实现快照期间的系统的无阻塞服务,并降低对系统带宽的影响,该方法控制快照创建过程中的系统带宽下降率在35%以内,快照创建结束后的系统带宽下降率在30%以内.2.提出了一种基于数据顺序索引的低开销快照访问方法.增量快照中快照之间具有依赖关系,随着系统中快照数量的增多,快照访问开销越来越大.针对该问题,本文提出基于时间顺序索引的低开销快照访问方法,消除快照间的依赖关系,实现较早时刻快照的低开销访问.3.本文以SKYFS(SKYFS为中科院计算所高性能中心研制的大规模分布式文件系统)为基础实现了元数据的快照功能,验证了快照一致性算法和低开销快照访问方法的有效性和扩展性.实验结果显示,增量快照的访问开销随着快照数量的增多基本维持不变;同时,在扩展性方面,当系统规模增大5倍时快照创建开销增长率控制在20%以内,快照访问开销增长率控制在19%以内.
其他文献
大数据技术的出现与发展使得存储系统面临巨大机遇与挑战。同时,作为传统内存介质的动态随机存储器(DRAM),由于其工艺尺寸达到20 nm及以下,使得内存系统在稳定性、可靠性等方面出现问题,亟待新型存储器的替代。相变存储器(PCM)具有非易失性、抗辐射干扰、密度高等优点,是最有可能取代DRAM的非易失性存储器。然而,相变存储器面临写寿命有限、电阻漂移、永久性故障、软错误等可靠性问题。在天基系统中,对内
近年出现的一类新型非易失性存储器(Non-Volatile Memory,NVM)如相变存储器和RRAM等,表现出非易失、存储密度高、低延迟、低功耗、抗震性好、可按字节寻址等优点,使得NVM成为潜力巨大的新型存储设备.针对这类NVM,学术界和工业界已设计实现多个新型内存文件系统如PMFS、SIMFS和HiNFS等,充分发挥非易失性内存高访问速度和可按字节寻址等优点,实现高效的文件访问和可靠的一致性
随着物联网、移动互联网、社交网络等一系列新兴技术和应用方式的出现,人们对海量数据实时存储、处理的需求不断增加.分布式消息系统由于其解藕数据收集与处理系统、良好的性能和扩展性被广泛使用.基于对分布式消息系统的广泛需求,一大批消息系统被开发发布,其中包括LinkedIn 2011年推出的Kafka,Twitter 2016年5月开源的DistributedLog,Yahoo!2016年9月开源的的Pu
近年来,随着云计算和大数据技术的相继涌现,数据中心在规模上和数量上都出现了跨越式的增长,能源消耗进一步加剧.能源成本的增长和环境问题的日益突出使得数据中心面临严峻挑战,引进经济环保的新能源已经迫在眉睫.太阳能和风能是目前最具前景的两种新能源,不仅获取方式简单,在全球大部分地区广泛存在,而且环保无污染,但是新能源的间歇性、不稳定性和突变性等特点,导致数据中心无法有效适应新能源.为此,各大数据中心开始
云计算依靠自身优秀的性能,灵活的扩展性,低廉的价格吸引着国内外企业将自身的业务迁移到云上.但是随着云上企业数量增多、任务种类增多、性能特征变复杂,用户很难在运行成本与服务需求的平衡中实现最优,所以用户为了简化操作申请过多的资源,造成了使用成本增加.许多典型的解决资源利用率低下的问题,都是从云提供商的角度优化放置算法,而用户选择将限制资源利用率增加;也有一些方法通过在云平台下的任务性能短时间采集并预
本文首先基于Landau Khalatnikov理论通过使用BSIM4模型来对NC-FeFETs进行建模,分析NC-FeFETs具有的栅极电压放大作用.之后考虑到阻尼常数对器件性能的影响,设置阻尼常数为主要变量,引入了基于反相器的延迟测试、功耗测试以及再生性测试,将得到的结果与相同条件下的MOSFETs进行对比,当阻尼常数为0.0001Ω·m时,NC-FeFETs在延时上与MOSFETs相当,并且
NVMe全称Non-Volatile Memory Express,非易失性存储器标准,是PCI-E SSD的一种规范。命名空间管理是最新NVMe规范中的一个固件功能,本文在基于PCI-E SSD的测试平台上设计和实现了命名空间的创建和删除算法,使得一个固态盘可以当做若干个固态盘使用;还实现了设备端的命令处理流程,可以通过命令分发、命令解析、命令数据传输等任务去处理在设备端的命令,最后根据NVMe
随着云计算和移动互联网的发展,前端的设备提供服务入口,而大量的数据存储和处理任务需要在后台的数据中心完成,数据中心成为云计算时代最重要的基础设施。与之相对应的是,企业级数据中心的规模越来越大,数据中心的自动化运营和维护所面临的挑战也越来越大。除了软、硬件故障以外,服务器的磁盘使用过高是数据中心运维中最常见的问题之一,且经常发生于系统负载最高的时候,严重伤害用户体验。通常对于服务器的运行情况等信息有
图作为一种重要的数据结构,广泛应用于社会各个领域,如最优运输路线、科技文献引用关系、数据挖掘、蛋白质分解、语义网分析等应用问题.随着人类社会信息化程度的提高,伴随这些领域产生的图数据量也在以爆炸式的速度增长.来自各类应用的图数据规模与日俱增,常规计算机难以一次性将数据全部从外存载入内存进行处理,只能在处理过程中对存储在低速、大容量外存中的数据进行多次访问,由此造成图数据频繁地在高速和低速存储设备上
随着当今的社交网络的快速发展,越来越多的图像被上传到云端.这些图像种类丰富多样,并且往往存在大量相似以及冗余.相似图像每时每刻都在产生,如连拍、游客在同一个景点拍摄的照片、不同人对同一物体或场景所拍摄的照片等.然而目前的图像编码算法如JPEG、JPEG 2000、JPEG XR等均只考虑图像像素间或者区块之间的相似性,忽视了图像之间内容上的冗余.与此同时,硬件的发展速度难以满足人们日益增长的存储需