面向Swift对象存储系统的副本策略研究

来源 :中国航天第二研究院 航天科工集团第二研究院 | 被引量 : 0次 | 上传用户:liuhaichao811
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、物联网等技术的迅速发展,特别是web2.0等数据密集型技术的应用,产生了大量数据,海量数据的存储需求催生了云存储技术。开源云管理平台OpenStack的Swift对象存储使用普通廉价的硬件设备构建的存储集群,能够为PB级别的数据提供冗余的、可靠的、可弹性扩容的数据存储服务。为提高数据的安全性,引入了副本技术。在副本调整方面,当节点加入或者删除时,由于虚拟节点副本调整的随机性,导致了系统的负载不均衡;在副本一致性方面,在数据密集型场景下,当对象副本个数多,每个物理节点存储对象特别多时,Swift自身的一致性策略具有网络开销高,同步延迟大的问题。  在副本调整方面,采用了基于虚拟节点访问排名的副本调整策略。通过对Swift自身的副本调整策略进行研究,由于调整的随机性,导致了负载的不均衡。为解决此问题,提出了基于虚拟节点访问排名的副本调整策略。当节点加入或者删除时,根据虚拟节点的访问排名,动态调整虚拟节点和物理节点之间的映射关系,实现各物理节点的负载均衡。  在副本一致性方面,采用基于轻量级同步协议的副本一致性策略。通过对swift自身的副本一致性策略进行研究,搭建swift集群,利用ssbench工具模拟测试,发现当对象副本的个数较多,每个存储节点存储的对象个数特别多时,swift自身策略带来了网络开销高,同步延迟大的问题。为解决此问题,提出了基于轻量级同步协议的副本一致性策略。一方面,通过Merkle Tree创建机制HOH,降低发送同步消息的大小;另一方面,通过圆形散列检测机制CHC,来减少发送同步消息的数量。  实验结果表明,当有节点加入或者删除时,基于虚拟节点访问排名副本调整策略,能很好的调整虚拟节点副本和物理节点之间的映射关系,均衡了系统负载。在数据密集型场景下,基于轻量级同步协议的副本一致性策略,可以降低网络开销,减少同步延迟,提高Swift对象存储系统的性能。
其他文献
因特网的迅猛发展使大规模的数据共享成为了可能,随之而来的还有数据爆炸式增长所导致的信息过载问题。推荐系统便是在这样的情况下应运而生,它的出现使用户潜在感兴趣的信息能
从移动Ad Hoc网络演变而来的无线Mesh网络(Wireless Mesh Network,WMN)是一种多跳的无线网格架构网络。具有大容量、高速率、宽覆盖和快速部署等优势,同时又能很好的融合多种异
随着软件规模的不断增大和日益复杂,软件危机已经变得越来越严重。解决这个问题的最有效的方法是软件复用。近年来RUP(Rational Unified Process软件统一开发过程)已经被广泛
如何构建高质量的软件系统一直以来都是软件工程领域的一个核心问题。尤其是软件系统进入到维护演化阶段,随着系统不断地修改,会不可避免地渐渐变得复杂、难以理解。另一方面,近
传统的地质体内部信息使用二维图形的表达方式,难以全面反映地质对象空间形态,需要进行大量制图来从多角度表达地质信息,并且工程技术人员很难对地质信息进行解释,利用结构分
计算机系统安全已经作为国家基本战略纳入了各国的发展规划中。而作为计算机系统智能载体的计算机软件,是攻击者入侵计算机系统的最重要途径之一,它的安全性在网络空间(Cybersp
信息安全已经成为国家安全的基石,直接而深刻的影响普通民众的生活和工作,涉密信息更是信息安全防护的重点。当前我国的涉密信息安全防护以涉密信息系统的安全防护和涉密人员的
近年来,生物特征识别技术受到了广泛的关注和应用,可用于有效识别的生物特征主要有指纹、虹膜、人脸、掌纹等。其中,人脸识别具有稳定、唯一、操作简便、成本低等优越的特性,已被
随着现代卫星技术的迅速发展和应用普及,由多颗小卫星组成的卫星星座在军事、政治、经济和文化等各个领域都扮演着越来越重要的角色,逐渐成为人们日常中不可或缺的一环,其涉
随着人机交互技术的发展,用户界面经历了批处理、命令行、图形用户界面的变迁。基于WIMP范式的图形用户界面由于其所见即所得的直接操作方式,成为并且仍是主流用户界面。然而,随