论文部分内容阅读
随着互联网的高速发展,各个行业数据规模越来越大,海量的数据和文件需要被存储,给分布式文件系统带来了巨大的挑战。分布式文件系统中元数据和数据分开存储。元数据管理系统管理元数据,是分布式文件系统中的最关键部分,但是目前的元数据管理系统的管理机制并不能解决当前面临的挑战。基于此,本文提出了一种基于域的元数据扩展管理系统,其中域是元数据的组织单位,是元数据的分割粒度。元数据分割粒度直接影响元数据扩展管理系统的可扩展性.、并发性能、数据一致性和负载均衡。本文通过分析传统的元数据分割技术,认为域作为分割粒度最为合适。本文提出了与基于域(zone)的元数据分割策略匹配的负载均衡策略,解决域在元数据服务器集群中的分布问题和热点出现时域的迁移问题。当一个新的域需要被分配时,该策略通过哈希分布策略将域随机分布到一台元数据服务器上,保证了域的分布是均匀的。当一台元数据服务器成为访问热点时,该策略会将该台元数据服务器上的元数据按域迁移到负载较低的元数据服务器上,通过迁移元数据,改变用户的访问目的地,充分利用空闲元数据服务器集群的系统资源,进而达到负载均衡的效果。除此之外,本文还提出了元数据扩展管理系统的可用性保障机制,通过双机热备份机制和基于日志的故障恢复机制保证元数据扩展管理系统的平稳运行。最后,本文实现了一个基于域(zone)的元数据扩展管理系统原型,并以此实现一个分布式文件系统,通过对系统的测试,证明了基于域的元数据扩展管理系统具有容易扩展、支持高并发以及负载均衡的优点。