海量存储系统元数据管理的研究

被引量 : 0次 | 上传用户:zhuyudream
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着新型存储技术的快速发展以及人们对存储应用需求的不断增长,网络存储系统的发展日新月异。存储系统正向着大存储容量、高传输带宽、高可靠性和易于管理的方向不断前进。在大规模海量存储系统的设计中,文件系统的元数据管理成为一个关键研究点,它对海量存储系统的性能、安全、可用性和可扩展性等方面产生重要影响。在对海量存储中元数据管理的瓶颈问题进行分析和研究的基础上,构建了一种具有层次结构的元数据服务器集群体系结构模型,进而设计一种层次性目录哈希元数据分布算法。另外,基于该体系结构和层次性元数据分布算法,对海量存储系统的可扩展性和负载均衡等问题进行了研究。论文的主要工作包括如下内容:在分析传统元数据服务器结构的基础上,从数据访问效率、管理功能灵活性出发,将元数据服务器集群划分成索引管理服务器和存储管理服务器两个部分。从功能的角度看,索引管理服务器起到“元”元数据服务器的角色。这种体系结构潜在地使元数据服务器集群具有更好的性能和可扩展性,不仅有利于文件系统元数据在集群内的高效分布和查询,而且层次清晰的模块化结构也为海量存储系统的各种应用研究提供了一个良好的平台架构。在海量存储系统元数据服务器集群体系结构的基础上,提出了一种层次性目录哈希的元数据分布算法。该算法是一种改进的哈希算法,它引入了目录存储单元和索引管理服务器的概念,通过对文件系统的目录进行哈希,以目录粒度在元数据服务器集群中分布元数据,目的是提高存储系统中元数据的访问效率。层次性目录哈希算法可以克服传统文件哈希类算法在扩展性和负载均衡方面的不足,实现更为灵活的元数据分布管理,并获得良好的存储系统可扩展性。针对海量存储系统的规模可扩展性和性能可扩展性问题,传统的基于文件哈希的元数据分布算法往往存在一些技术缺陷,如,系统扩展会产生大量额外的元数据请求和引发大规模的元数据迁移,降低了存储系统的性能。层次性目录哈希元数据分布算法引入了专门的管理节点——索引管理服务器,有助于系统元数据的灵活管理,在执行存储系统扩展性操作时可以降低操作的复杂度,减小衍生的额外负载,提高操作的执行效率。在几种典型的较易引发扩展性瓶颈的操作中,如更改目录名、删除目录、修改目录访问权限、增加或删除元数据服务器节点等,层次性目录哈希算法在系统可扩展性方面都要比文件哈希算法表现得更为出色。针对分布式存储系统环境下的负载均衡问题,对存储系统元数据操作的特性和性能影响进行了研究,给出了衡量存储节点负载分布状态的负载均衡公式,并提出了一种层次式动态负载均衡策略来调节存储系统内各节点的负载分布,使负载更为均衡、合理。该算法在系统中设置一个负载均衡管理服务器,借助在索引管理服务器集中收集到的元数据服务器节点的负载状态信息,来制定相应的负载调整策略,对元数据服务器节点的负载状态进行调节,使整个元数据服务器集群达到一个动态的、平稳的负载均衡状态,从而提高了系统的整体性能。
其他文献
学术界研究陆机的文章虽多,但涉及到陆机交游与文学创作之关系者却很少。因此,笔者认为有必要对陆机交游与文学创作的关系作一番专门的研究和探讨。本文以陆机为研究对象,以
今天的中国电信市场已经进入了以“客户为主”的营销时代,营销渠道作为营销组合充分发挥其效用的基本载体,在提供消费的便利性、加强与客户沟通、了解客户需求等方面具有重要
近年来,随着以Web2.0技术为核心的互联网技术的发展,不论是传统的新闻传播从业人员,还是以往以接受信息为主的大众都开始发现,新闻的发布权正面临着前所未有的突破,新闻传播
随着国家2008年实施新一轮电信体制改革和2009年初发放第三代移动通信(3G)牌照,中国电信集团公司终于迎来了全业务运营和3G的良好契机。湖南电信近三年经营形势十分不利,迫切
网络偶像的出现源五年前中国网络社会刚刚进入快速发展阶段的时期,经过近几年网络社会发展和SNS社交网站日渐成为网民互动主流模式,网络偶像在网民集体无意识行为的推动下掀
针对传统无人机FMECA方法存在模糊性,难以进行定量分析,得不出精确分析结果的问题,提出了基于模糊综合评判的FMECA分析方法。不仅将传统FMECA中定性指标予以定量化分析,而且
本论文运用公共管理学理论,按照“提出问题—分析问题—解决问题”的步骤,对海关风险管理从两个层面进行了分析,一是国际全球化经济环境下海关实施风险管理的必要性,二是以直
水滑石(LDHs)是一种新型的纳米粒子,其特殊的组成决定了它对氯化氢气体具有吸收作用。常与其他辅助热稳定剂(如金属皂类等)复配形成复合热稳定剂用于PVC树脂。采用恒定pH值共
为了与国际接轨,体现与国际会计准则的趋同,并且考虑中国的经济发展的实际情况,新《企业会计准则》于2006年2月发布,并于2007年1月1日起正式实施。由于我国企业以传统历史成
目的:改革开放以来,经过30年的探索,我国逐步建立了四大医疗保障制度:城镇职工基本医疗保险制度、新型农村合作医疗制度、正在试点的城镇居民基本医疗保险制度和城乡医疗救助制