基于BT协议和Swift特性的分布式文件存储系统的设计与实现

来源 :北京邮电大学 | 被引量 : 3次 | 上传用户:sunrisekarl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式文件存储系统是通过网络技术,将分散的、性能不强的、单个存储空间有限的存储服务器集合起来,经过合理的资源调度管理和存储策略应用后,对外提供统一存储功能的服务。虽然单个机器的处理能力喝存储能力并不强,但是如果经过合理的任务分配和空间调度,每台存储服务器都可以得到高效的利用。由于如今信息的增长速度已经日新月异,分布式存储系统所要承载的数据量也呈指数趋势增长,海量的数据对实现数据在存储节点中的负载均衡分配,避免出现严重的数据倾斜等解决方案提出了新的挑战。同时,随着用户对分布式存储系统要求越来越高,系统是否可以提供高速的文件存入和读取服务,以及是否可以维持数据的高可用性,也成为了对分布式文件存储系统性能衡量的重要标准。BitTorrent协议是传统的P2P文件分发协议,它是将一个文件通过分片策略,分布到各个节点中去,然后再通过节点之间的协同作用共同提供文件传输服务。而Swift是OpenStack中的存储模块,主要由代理服务器和存储服务器组成,整体上提供了分布式文件存储的服务。目前的分布式文件存储系统或通过BT协议可以实现较高速的文件存入/读取速度,但是当一个文件需要存储时,缺少有效的机制在海量的存储服务器中选择最合适的存储节点,导致负载均衡方面没有很好的解决办法;或通过类似与Swift存储系统架构的模式,对存储节点整体有了更合理的负载分配,但没有利用文件在分布式存储系统中多副本存储的特性,只是从一个存储节点传输文件,对带宽的利用并不充分,面临着传输速度瓶颈的问题。因此,需要将二者的特性结合起来,在类似Swift分布式存储服务的架构上,加入BT协议的特性,充分发挥两者互补的特性,构建出一套具有高可用性和高传输速度特性的存储服务。本文提出了一套结合BT协议和具有Swift特性的分布式存储系统的设计架构,其中主要包括一是对Swift存储中的一致性哈希算法,在虚节点的生成策略和分配策略,以及对系统负载的动态反馈方面做出了改进;二是改造存储节点,通过BT协议来传输文件,改善文件的传输速度。最后实现了系统的原型。最后通过实验数据来测试系统的性能表现。
其他文献
2004年中央1号文件下发后,我省农民种粮积极性空前高涨,粮食种植面积增幅较大.为确保全省粮食增产、增收、增效,必须切实加强农技推广工作,提高粮食生产技术水平.
比亚迪精密制造有限公司北京分公司成立于2007年,主要业务是手机产品原始设计制造商(Original Design Manufacturer)即ODM业务,但在短短的八年时间里,北京分公司已经与诺基亚
<正> 农业安全是当前经济发展中的重大课题,在推进农业产业化的进程中必须高度重视。 1.要加强动植物种质资源的安全 我省目前共收集、整理动植物种质资源1.5万余份,但由于至
冷却塔作为工业制冷和大型空调系统的核心设备,随着其应用的日趋广泛,冷却塔的噪声问题也越来越引起人们的重视。目前,现有的冷却塔噪声控制理论技术,虽然能较好的控制冷却塔噪声
燃料电池是高效、节能和环保的发电方式,在可移动及小规模电源系统中具有广泛的应用前景,其氢源制备是燃料电池商业化发展的关键。甲烷资源丰富且容易获得,是碳氢燃料重整制
<正> 农业产业组织创新是农业产业化经营的关键,是推动传统农业向现代农业转变的巨大动力,也是增加农民收入的根本。新型农业产业组织作为适应新时期农村生产关系的优化形式,
由于区块链匿名性的特点,以太坊逐渐成为恶意账户利用漏洞攻击、网络钓鱼等手段实施欺诈的平台。针对上述问题,文章提出了一种基于Light GBM的以太坊恶意账户检测方法。首先通过收集并标注8028个以太坊账户,基于交易历史规律提取手工特征;然后使用自动特征构造工具featuretools提取统计特征;最后通过融合的两类特征训练Light GBM分类器完成以太坊恶意账户检测。实验结果表明,文章提出方法的
期刊
连接副词where在句中的作用相当于:where=(to/in/at)the place where,它不仅可以指地点,而且可以指工作、学习、生活的每一个方面。
随着网络的发展和普及,人们的消费方式、消费结构和消费理念都发生了翻天覆地的变化,网络购物已经成为人们生活中不可或缺的一部分。《2014年中国网络购物行业年度监测报告》