基于云存储的分布式文件系统研究与优化

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:dengdq123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的飞速发展,全球数据量每年以指数增长,使得云计算成为了当前研究与应用的热点。云存储作为云计算的底层服务,是一种架构复杂的分布式文件系统。因为它具有结构灵活、响应效率高、管理方便等优点,因而成为世界各国解决数据爆炸性增长方案的首选。Hadoop分布式文件系统(HDFS)作为当今最流行的基于云存储的分布式文件系统具有开源、廉价、高容错以及高可扩展性的特点,在云存储领域占居了者举足轻重的地位。然而,HDFS因其结构和性能上的局限性,也存单点失效、并发用户的高延时访问、负载均衡不足等的问题。本文在系统、全面的学习和总结分布式存储系统发展现状和特点的基础上,重点分析了几种常用的分布式存储系统架构的优缺点,同时设计了一个部分对等式的多Namenode系统架构。该架构通过增加元数据服务器层中部分对等的多个Namenode,改变了以HDFS为代表的集中式存储系统对主节点的单点依赖,降低了并发用户的等待时延和元数据服务器的平均内存占用率。同时,本文还深入研究了常用的负载均衡方法,针对HDFS存储服务器负载均衡不足的缺点,建立了磁盘利用率模型和服务阻塞率模型,设计了一种基于本文架构的自适应反馈负载均衡算法。通过算法性能分析与实验仿真进一步论证了本文设计的算法比HDFS系统中的负载均衡算法在系统性能和负载均匀度方面都有一定的优化。
其他文献
煤系地层地质构造复杂多变,会对弹性波探测产生影响,本文旨在分析煤系地层小构造对弹性波传播特性的影响,为弹性波在实际煤系地层中的探测提供基本理论支持。结合弹性波传播
随着电子产品在生活中的广泛使用,由于它的安全性而引起的火灾问题也随之增多。仓库是一个企业物资集中存储的重要场地,仓库管理的第一目标就是仓库安全,火灾是威胁仓库安全最大
随着雷达技术的飞速发展和新体制雷达的广泛应用,雷达所处的信号环境呈现出密集、复杂和多变的特征,雷达信号分选的难度也逐渐增高。信号分选方法在追求实时性的同时还要充分
无线体域网(WBAN)是一种将节点分布于人体表及体内,在人体范围内进行通信的新型无线传感器网络,主要用于实时地监测、获取人体生理数据,为人体的生理状态判断提供数据支持。目前
随着人们对位置感知服务的需求与日俱增,高精度的室内定位成为实现位置服务的核心。而WLAN的分布广泛化和应用普遍化,也使基于WLAN的定位系统逐渐成为研究热点。基于位置指纹
利用卫星遥感技术进行地球资源勘探、环境及自然灾害监测变的过程中,云是个很大的障碍,云的存在严重影响了信号的传播,极大的降低了遥感影像数据的利用率。因此,利用卫星遥感观测
单脉冲测角技术因其具有精确的角度测量特点,被广泛地应用在探测、制导以及电子对抗等多个场合。针对传统单脉冲方法容易受到外界电磁干扰的影响,并且考虑到自适应波束形成技术
图像目标识别是当前机器视觉和模式识别领域中一个十分重要的研究课题,被广泛应用于众多领域,如医学图像处理、军事自动目标识别、遥感图像分析。近年来基于显著性检测的目标
随着科学技术不断发展和人们对目标跟踪实际需求的不断增加,目标跟踪问题开始受到广泛关注。目标跟踪技术已经广泛应用于军事领域如战场监控、预警、攻击、火力控制等,和民用
物联网是一种对人和物定位、跟踪、识别和监管的智能化网络,“三网融合”理念的提出,推动了物联网技术的快速发展。智能视觉物联网是物联网的视觉感知部分,本文融合通信、计