基于哈希算法的分布式元数据管理与优化

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:steven146
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前的大型分布式文件系统需要存储PB规模甚至EB规模的数据,而提供对文件属性信息和全局命名空间管理的元数据服务对系统的性能有着至关重要的影响。使用多台元数据服务器(Metadata Server,MDS)的分布式元数据服务可以缓解单个服务器的负载,但同时也带来了巨大的挑战。因为在分布式场景下,很难同时保持元数据局部性和MDS之间负载平衡这两个互斥的特性。在这篇论文中,我们提出了两种创新的方案来解决分布式元数据管理问题:基于局部保留哈希(Locality Preserving Hashing,LPH)的AngleCut方案和使用机器学习方法构建哈希的DeepHash方案。AngleCut是一个特别设计的用于分割元数据命名空间树的哈希方案。AngleCut首先通过一个创新的局部保留哈希(LPH)函数将元数据节点映射到线性空间中,即一个类似于Chord的多重环上。该LPH函数能保持元数据名称空间树上的节点相对位置信息,因此能从本质上保证了元数据局部性。然后,本文还设计了一个创新性的基于历史信息的分配策略来均匀地分配元数据节点到不同MDS上,从而动态地调整不同MDS之间的负载。我们还在AngleCut中集成了缓存机制,来提升整个系统的元数据查询效率。DeepHash是一个基于机器学习的元数据管理方案,其核心是通过神经网络来构建局部保留哈希函数。DeepHash首先根据元数据树的结构将元数据节点映射到唯一的特征向量。然后,我们设计了两种损失函数,配对损失和三元损失,来帮助DeepHash模型学习元数据节点的相对位置关系。此外,本文还提出了另一种元数据分配算法来动态地调节MDS之间的负载。据我们所知,DeepHash是机器学习方法在分布式元数据管理问题中的首次应用。为了验证AngleCut和DeepHash方案在局部性和平衡性上的性能,本文在真实据集上进行了大量的实验。实验结果和理论分析都证明了AngleCut和DeepHash方案的优越性。
其他文献
PDC钻头自七十年代中期问世以来,由于在软到中硬地层中钻速快、寿命长、可靠性高、综合效益显著,因而在世界石油、天然气、地热开发等领域的钻井工程中得到越来越广泛的应用。通过不断的技术研究钻井水平进步较快,使本气田的钻井周期得到了大幅度的降低。但是单井钻头使用量还是较大,单只钻头进尺和机械钻速还较低,从而造成单井钻头成本较高,钻井成本增大。因此,必须投入较大力量,对适用于本区域的PDC钻头进行深入研究
目的:探讨高压力生活状态下学生人群胃动力变化,建立可靠的功能性消化不良超声定量检测胃动力变化评价方法。方法:制定标准化问卷,对在校779名学生进行调查问卷,调查所有研究对象作息时间、大小便、饮食习惯等,然后由经过培训的精神科或神经内科医师对学生进行面对面交流并作出诊断,根据汉密尔顿焦虑量表(HAMA)评分进行分组,评分>7分为高压力组,评分≤7分为非高压力组。从高压力组中随机抽取52例,其中
城市化水平的不断提高,带来交通拥堵问题的频繁发生。如果能够通过一定的手段,对交通流情况进行预测,则可以缓解城市交通压力。在城市道路网中,交通拥堵呈现出向四周辐射的特性。本研究以交通拥堵预测和挖掘拥堵传导规律为目的,从时空两个维度对拥堵传导进行建模,提出一种基于遗传网络规划算法(GNP)的时间序列关联规则挖掘模型,通过挖掘城市路网之间的拥堵传导规则,对未来道路的交通状态进行预测。本研究首先介绍了关联
本文以SCJY学生管理有效性为研究背景,以管理学理论为指导,运用文献分析、比较分析、系统分析、定性分析与定量分析相结合等方法对学生管理有效性进行系统的研究。论文在明确
随着智能家居、工业互联、智能制造和车联网等应用的发展,物联网的需求和使用稳步增长。通过蜂窝网支撑物联网应用成为必然的趋势,但是当前的LTE网络无法有效承载物联网带来
中国商品住房市场在1998年住房市场化改革后逐渐发展成为带动国民经济发展的主导产业。但是商品住房市场的迅猛发展也产生了诸多社会问题,居高不下的房价对居民的购房能力提
卷积神经网络模型压缩是一种有效降低卷积神经网络参数冗余和储存的方法。本文以卷积神经网络为基础,围绕基于权值量化和剪枝的压缩方法开展了如下研究工作。第一章是本文的绪论,首先介绍了卷积神经网络压缩的研究背景,其次介绍了国内外关于卷积神经网络压缩方法的研究现状,最后介绍了本文的研究内容和组织结构。第二章本文介绍了卷积神经网络的基本理论,首先介绍了卷积神经网络的组成,包括卷积层、全连接层、激活函数、池化层
本论文在实验室先前研究氮α-位自由基形成碳-碳键的方法学和路易斯酸协同光催化实现邻氨基醇的对映选择性合成的基础上,在可见光催化的氧化还原体系中探索了通过α-氨基酸或
在人工智能研究不断推进和人口老龄化并存的背景下,对服务机器人智能化的要求越来越高,如何更智能地为人类服务成为家庭服务机器人研究领域关注的重要内容,其中,对家庭日常工具的认知要求机器人能够准确的识别和使用工具。针对家庭日常工具功用性认知准确性和实时性的要求,该文从家庭日常工具的功用性角度进行研究,分别基于机器学习算法对多种家庭日常工具功用性进行检测,主要研究内容有以下几方面:首先,家庭日常工具部件具
2016年年底,国务院批复同意中原城市群规划,国家发改委随后便发布了《中原城市群发展规划》全文。中原城市群作为国家级城市群,是中部地区承接发达国家及我国东部地区产业转