论文部分内容阅读
随着新型存储技术的快速发展以及人们对存储应用需求的不断增长,网络存储系统的发展日新月异。存储系统正向着大存储容量、高传输带宽、高可靠性和易于管理的方向不断前进。在大规模海量存储系统的设计中,文件系统的元数据管理成为一个关键研究点,它对海量存储系统的性能、安全、可用性和可扩展性等方面产生重要影响。在对海量存储中元数据管理的瓶颈问题进行分析和研究的基础上,构建了一种具有层次结构的元数据服务器集群体系结构模型,进而设计一种层次性目录哈希元数据分布算法。另外,基于该体系结构和层次性元数据分布算法,对海量存储系统的可扩展性和负载均衡等问题进行了研究。论文的主要工作包括如下内容:在分析传统元数据服务器结构的基础上,从数据访问效率、管理功能灵活性出发,将元数据服务器集群划分成索引管理服务器和存储管理服务器两个部分。从功能的角度看,索引管理服务器起到“元”元数据服务器的角色。这种体系结构潜在地使元数据服务器集群具有更好的性能和可扩展性,不仅有利于文件系统元数据在集群内的高效分布和查询,而且层次清晰的模块化结构也为海量存储系统的各种应用研究提供了一个良好的平台架构。在海量存储系统元数据服务器集群体系结构的基础上,提出了一种层次性目录哈希的元数据分布算法。该算法是一种改进的哈希算法,它引入了目录存储单元和索引管理服务器的概念,通过对文件系统的目录进行哈希,以目录粒度在元数据服务器集群中分布元数据,目的是提高存储系统中元数据的访问效率。层次性目录哈希算法可以克服传统文件哈希类算法在扩展性和负载均衡方面的不足,实现更为灵活的元数据分布管理,并获得良好的存储系统可扩展性。针对海量存储系统的规模可扩展性和性能可扩展性问题,传统的基于文件哈希的元数据分布算法往往存在一些技术缺陷,如,系统扩展会产生大量额外的元数据请求和引发大规模的元数据迁移,降低了存储系统的性能。层次性目录哈希元数据分布算法引入了专门的管理节点——索引管理服务器,有助于系统元数据的灵活管理,在执行存储系统扩展性操作时可以降低操作的复杂度,减小衍生的额外负载,提高操作的执行效率。在几种典型的较易引发扩展性瓶颈的操作中,如更改目录名、删除目录、修改目录访问权限、增加或删除元数据服务器节点等,层次性目录哈希算法在系统可扩展性方面都要比文件哈希算法表现得更为出色。针对分布式存储系统环境下的负载均衡问题,对存储系统元数据操作的特性和性能影响进行了研究,给出了衡量存储节点负载分布状态的负载均衡公式,并提出了一种层次式动态负载均衡策略来调节存储系统内各节点的负载分布,使负载更为均衡、合理。该算法在系统中设置一个负载均衡管理服务器,借助在索引管理服务器集中收集到的元数据服务器节点的负载状态信息,来制定相应的负载调整策略,对元数据服务器节点的负载状态进行调节,使整个元数据服务器集群达到一个动态的、平稳的负载均衡状态,从而提高了系统的整体性能。