一种文件路径与属性信息分离的分布式元数据组织方法

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:xielongj_30
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,面向大数据的存储系统纷纷出现。不断增长的数据量,使得集中式元数据管理系统的负担越来越重,逐渐成为大数据存储的瓶颈。为此,人们提出了多种分布式元数据管理方法,但由于元数据的结构类型复杂多样,目前尚没有一种方法能够同时改善元数据管理的性能和扩展性。提出了一种文件路径和属性信息分离的分布式元数据组织方法。将元数据组织成目录索引和元数据属性信息两个部分,通过构建目录索引,将元数据以目录或小于目录为单位划分到不同的桶(Bucket)内,再根据元数据服务器集群的负载情况将桶指派到不同的元数据服务器上。方法利用目录索引和桶提高元数据的管理性能;通过构建目录索引时考虑集群负载情况,实现元数据管理的可扩展性。此外,提出基于该方法的元数据位置缓存策略,策略解决了位置缓存信息不一致的问题,缩短了元数据管理的流程。测试结果表明,提出的方法能获得较高的管理性能,特别适合高并发的情况;具有良好的可扩展性和较好的访问局部性,而且可以不限制目录的大小;避免了重命名元数据造成的不必要的迁移。与集中式元数据管理方法对比,方法采用单一元数据服务器时,元数据的创建、查询等操作性能都有了数倍的提升。
其他文献
随着互联网上资源和服务的日益增多,人们常常需要借助于搜索引擎来查找相关信息。通用搜索引擎返回的结果包含了大量的杂质信息,用户通常还需要从中筛选符合自己查询意图的结
三维编织复合材料是三维编织技术与现代复合材料技术相互结合的产物,是制作结构件的理想材料,它具有异形件一次编织成型、结构不分层、整体性能好与设计灵活等优点,已经成功地运
视频监控已在众多领域得到广泛应用,利用视频挖掘技术可以从海量视频数据中提取特征、进行有效的分析、发现高层语义知识和模式,实现对监控视频的自动化和智能化应用。目前,国内
目前Web信息量剧增,Internet已经成为人们重要的信息来源。当人们浏览网页时,会出现大量的导航条,广告信息,版权信息以及调查问卷等相关信息,这些信息通常并不是人们所要获取
Hadoop是对大规模数据进行分布式处理的软件框架,是一种实现云计算和云存储的分布式计算平台。在不知晓分布式架构的具体细节状况下,用户能开发和运行分布式应用。Hadoop充分利
铁路行车安全监控网络信息系统是保障铁路运输安全的重要技术措施,在目前已实施的一些相关系统中,对于实时监控功能大都采用了C/S模式,以求时效性强且技术成熟、易于实现,但
随着软件及硬件的复制、发布及多媒体数据生成工具的发展,互联网上的音频数据呈跨越式增长,如何鲁棒而又高效的从海量多媒体数据库中搜索用户感兴趣的信息成为近年来亟待解决
人脸识别是人工智能与模式识别的一个重要研究方向,它涉及到图像处理,计算机视觉,模式识别,机器学习等相关的多门学科,它的高可靠性和高稳定性使它广泛应用于信息安全,金融,安全防务
飞机地面空调车温度控制器工作在复杂的外界环境中,外界环境的不确定性和时变性以及工作模型难以确定等因素对温度调节都有影响。应用常规的PID控制方法响应时间慢,抗干扰性
学位