蓝鲸集群文件系统恢复技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:lovesyb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
集群文件系统作为网络存储系统的核心技术,很好地解决了传统文件系统中存在的性能、容量、共享、可扩展性等问题。然而随着需求增加,集群文件系统的规模可能扩展到包含大量节点和磁盘,这时要保证系统成员能一直正确工作是很困难的,节点、通信和磁盘失效都将会对集群文件系统的一致性造成巨大的损害,如何在集群文件系统中维护一致性成为研究热点之一。   本文结合蓝鲸集群文件系统的需求,对集群文件系统恢复技术进行了深入的研究,设计并实现了一个基于蓝鲸集群文件系统的修复系统,它可以作为蓝鲸集群文件系统的附属工具为其提供异常恢复,解决了系统中曾出现过的资源丢失并定位出资源重用问题。   本文主要取得了如下成果:   1)设计了分布式的BWFSCK结构。利用蓝鲸集群文件系统管理服务器的核心控制能力,存储服务器的扩展性和带宽聚合能力,设计了分布式的BWFSCK结构,降低了系统的不可用时间。   2)设计并实现了位图重构算法。蓝鲸集群文件系统的存储服务器采用位图方式管理存储空间,在系统发生异常时存储服务器上的位图可能发生错误,无法正确描述文件系统使用的存储资源。基于此,我们设计并实现了位图重构算法,重构出一份反映文件系统真实使用存储空间情况的位图,用于恢复文件系统由于系统异常丢失的存储资源并定位出资源重用。   3)扩展了ENBD协议。结合蓝鲸集群文件系统实现特性,通过扩展已有的ENBD协议,使元数据服务器运用位图重构算法获得正确的资源位图后,能够分发给各存储服务器进行分布式的位图修复操作。   理论分析表明BWFSCK在处理大文件时很有优势,它的理想性能是在处理小文件时的85倍,实测值也在30倍,该特性符合蓝鲸集群文件系统在大规模高性能计算领域的应用模式。在测试中,定位了BWFSCK的性能瓶颈点,并在文章末尾给出了相应的优化方向,为下一步的优化工作提供指导。
其他文献
城市地铁系统大多是在半封闭的空间运行,人员密集,出入口较少,通风照明条件有限,疏散线路复杂。一旦站点发生突发事件(比如,恐怖袭击、乘客坠亡、人员踩踏等),容易造成严重的人员伤亡
互联网图像的爆炸性增长为用户提供了丰富的图像资源,如何从海量的图像资源中获取自己感兴趣的图像成为迫切需要解决的问题,基于内容的图像检索是解决上述问题的有效手段。有别
社交网络依托于互联网的广泛应用,不仅拥有巨大的用户群体,还能够超越地理位置限制、时间限制和社会角色限制来拉近用户之间的距离,使得沟通成本更低、时效性更强,因此成为人们交
无线传感器网络被认为是21世纪最重要的技术之一,而无线传感器网络操作系统是无线传感器网络应用的重要支撑技术。无线传感器网络操作系统的设计须满足内核代码量小、低功耗、
网格资源具有异构性和多态性,且网格应用的服务对象对服务的服务质量有特定的要求。SerivceBSP模型是在新的网格环境下提出的编程模型。基于ServiceBSP模型编写的应用程序(以
信息技术飞速发展,社会不断进步,人们对智能化和节能家用电器的需求日益凸现,智能家庭网络系统应运而生。智能家庭网络技术综合了操作系统、Internet接入、微电子等多门学科,
在当今信息化时代,人们对教育提出了新的要求,基于Web的网络学习系统作为一种新的教育方式备受社会的关注。网络环境以其资源的丰富性、交互的实时和广域性、学习方式的灵活性
随着互联网的发展与普及,Web资源成为人们获取信息的重要来源,而且相当多的资源只有通过互联网才能获得(例如未发表的论文、研究报告等)。但是随着web资源的急剧增加,如何充分利
在知识经济时代,知识管理已经成为一个组织提高竞争力的重要手段。与此同时,由于本体具有定义明确、形式化、方便共享等特性,在知识组织和知识管理方面表现出巨大的优势。本文经
随着计算机技术和通信技术的迅猛发展,计算机应用日趋广泛与深入,同时也使计算机安全问题更加突出和复杂。传统的安全手段已经不能满足现代网络安全的发展要求,入侵检测作为一种