【摘 要】
:
大规模数据存储面临着数据容量大、数据结构复杂、基础设施异构、失效常态化等问题。高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性具有重要作用
论文部分内容阅读
大规模数据存储面临着数据容量大、数据结构复杂、基础设施异构、失效常态化等问题。高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性具有重要作用。动态的、自适应的副本机制对系统I/O响应性能、容错性和存储利用率有很大影响。现有相关工作在可扩展性、数据迁移、数据结点负载均衡等方面存在一些不足之处。首先,针对基于哈希的划分和基于子树划分的元数据管理方案扩展代价巨大以及对集群变动敏感等问题,提出一种基于一致性哈希结构的MDS(MetaData Server)集群化方案—CH-MMS。 CH-MMS在一致性MDS集群上引入虚拟MDS,有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量。阐述了CH-MMS的体系结构,介绍了核心数据结构LayoutTable、虚拟MDS结构、延迟更新机制以及相关算法,并对CH-MMS扩展性、容错性作了定性分析。其次,针对分布式存储系统中结点失效的不可避免性,在CH-MMS作为元数据服务组件的基础上,提出一种基于文件支持度的文件热度评价模型。该模型通过周期性的参数调整,使其能够自适应系统不断变化的负载状态,尽可能做出反映系统实际状态的副本决策。提出一种数据结点分群算法,根据整体负载状况对数据结点进行划分,避免片面性。在该模型基础上实现数据结点负载均衡调整算法、文件支持度动态调整算法和惰性副本清理算法,达到副本动态自适应调整的目的。最后,通过理论分析和原型实验,验证了CH-MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求;验证基于文件支持度模型的动态副本机制具有良好的数据结点负载均衡和自适应性。
其他文献
恶性黑色素瘤是当今世界增长最快的癌症之一。皮损区域分割,即皮损区域的边缘检测,是基于皮肤镜图像的计算机自动诊断的重要环节。然而,在处理大小、颜色、纹理、结构变化多
网络作为维系生产中心与灾备中心之间信息传输的重要桥梁,无论局域网(LAN)、城域网(MAN)还是广域网(WAN),其作用均无可替代。它将容灾系统架构组成元素关联在一起,其中任意一方
如今在科学和工程领域中,如信号处理、最优控制、统计、模式识别等等都常会用到最优化问题。神经网络方法为解决最优化问题提供了一个有效的发展方向,通过使用具备高度并行计
Motif(模体)是指DNA序列中长度较短、具有保守功能的序列片段,Motif发现即从DNA序列中寻找出Motif的过程,该问题是生物信息学中一个基础而重要的研究课题。利用计算机技术来
云计算使得计算资源可以按需提供,给信息技术产业带来了革命性的变化。使得用户可以像使用水、电一样按需购买计算资源。以亚马逊为首的许多IT厂商纷纷推出自己的云计算服务,
电子商务的飞速发展导致服饰商品数据的大量增加,用户从海量的服饰商品中挑选合适的商品越来越困难,而服饰商品信息大部分是用服饰图像展示的,这就导致了服饰图像检索的产生
由于科技飞速的发展和经济的增长,国民的生活水平得到了明显改善,但是随之也带来了一些问题,如,环境的严重污染,癌症率的持续升高等等。占女性癌症第一的乳腺癌,对女性朋友的健康产
计算机三维动画是现在计算机的研究重点,其中,人体运动仿真技术被引用到了各个领域中。本文的研究重点在于实现流体环境下人体运动的仿真系统,由于硬件条件的限制,仿真系统的
群智能优化算法是近年来新型的一种仿生类优化算法,其中人工鱼群算法(Artificial Fish Swarm Algorithm, AFS)和人工蜂群算法(Artificial Bee ColonySwarm Algorithm, ABC)是
无线传感器网络(WSN)是网络技术在测控领域的经典应用。它合理地结合了传感器技术、现代网络技术、无线通信技术、嵌入式技术等前沿技术,具有良好的研究价值和应用价值。无线