分布式文件系统元数据扩展管理研究与实现

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:mir80
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的高速发展,各个行业数据规模越来越大,海量的数据和文件需要被存储,给分布式文件系统带来了巨大的挑战。分布式文件系统中元数据和数据分开存储。元数据管理系统管理元数据,是分布式文件系统中的最关键部分,但是目前的元数据管理系统的管理机制并不能解决当前面临的挑战。基于此,本文提出了一种基于域的元数据扩展管理系统,其中域是元数据的组织单位,是元数据的分割粒度。元数据分割粒度直接影响元数据扩展管理系统的可扩展性.、并发性能、数据一致性和负载均衡。本文通过分析传统的元数据分割技术,认为域作为分割粒度最为合适。本文提出了与基于域(zone)的元数据分割策略匹配的负载均衡策略,解决域在元数据服务器集群中的分布问题和热点出现时域的迁移问题。当一个新的域需要被分配时,该策略通过哈希分布策略将域随机分布到一台元数据服务器上,保证了域的分布是均匀的。当一台元数据服务器成为访问热点时,该策略会将该台元数据服务器上的元数据按域迁移到负载较低的元数据服务器上,通过迁移元数据,改变用户的访问目的地,充分利用空闲元数据服务器集群的系统资源,进而达到负载均衡的效果。除此之外,本文还提出了元数据扩展管理系统的可用性保障机制,通过双机热备份机制和基于日志的故障恢复机制保证元数据扩展管理系统的平稳运行。最后,本文实现了一个基于域(zone)的元数据扩展管理系统原型,并以此实现一个分布式文件系统,通过对系统的测试,证明了基于域的元数据扩展管理系统具有容易扩展、支持高并发以及负载均衡的优点。
其他文献
第一部分大鼠心肌Na+-Ca2+交换激动剂的正性变力作用增强Ouabain的强心作用心肌细胞Na+-Ca2+交换是心肌细胞膜上一种双向的、生电性的离子交换机制,其活动对维持细胞内钙稳态
目的 分析健康人群甲状腺结节流行病学及患病特征,为临床诊治提供帮助.方法 根据2018年1月至12月安徽医科大学第一附属医院58094名体检者的甲状腺超声检查的结果,结合甲状腺
近年来,随着网络技术和宽带技术的成熟和信息化的飞速发展,互联网业务量一直持续着爆炸式的增长,对网络造成了巨大的压力,如何在业务量与日剧增和多种业务共存的双重背景下,