面向分布式存储系统Ceph的服务质量技术研究

来源 :王攀 | 被引量 : 0次 | 上传用户:whoabc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息时代的发展,数据规模迅速扩张,更多的企业选择将业务部署到分布式集群上。然而分布式存储系统的资源是有限的,因此根据系统的存储能力为不同的用户制定合理的服务规则是非常重要的。分布式存储系统面向用户的服务质量(Quality of Service,Qo S)技术大多是在发送端来直接实施I/O限流的,然而这种方式并不能感知系统存储节点的资源使用情况,因此难以保证在各种应用场景下所有用户的性能需求。另外,现有的部署于分布式存储系统服务端的Qo S技术,没有考虑到请求对象在集群节点上的非均匀分布特征,同样难以满足用户个性化的性能需求。针对集群存储节点资源难以满足所有用户的性能需求上限时,部分应用的性能会受到更大冲击的现象,提出了一种面向用户的分阶段自适应Qo S策略(R_scheduler)。R_scheduler通过将令牌桶算法部署在存储端队列,并通过设计客户端协调器实现了面向用户的多节点资源分配。为提供Qo S下限保障能力并且更加充分的利用存储资源,R_scheduler通过监测存储节点上用户性能的保障情况,将资源的分配划分为三个阶段,分别为快平衡、慢增长和重平衡阶段,同时位于存储节点的资源调度器将根据资源分配所处的阶段自适应地调整用户队列实际的令牌生成速率。针对系统异常触发数据恢复流程时,用户性能高违约情况和难以保证系统可靠性的问题,提出了一种基于数据恢复感知的Qo S保障策略(Qo S Guarantee Technology based on Recovery Awareness,QGTRA)。QGTRA通过设计一个监控模块来感知当前存储节点上的数据恢复I/O和用户I/O的访问频度,由数据调度模块动态调整数据恢复请求所占用的资源,从而保障用户性能,并且提升系统可靠性。实验结果表明,系统正常运行时,R_scheduler能够很好的将所有用户的实际运行性能稳定在其Qo S的下限和上限目标值之间,且误差不超过3%;在系统故障后数据恢复时,在规定用户需要完成一定量的读任务后,R_scheduler和QGTRA不仅能够保障用户最低性能需求,而且数据恢复时间缩短了9.5%~35.9%。
其他文献
随着信息技术的飞速发展,传统计算机面临着冯·诺依曼瓶颈和晶体管微缩物理极限问题,越来越难以满足日益增长的数据处理需求。尤其,在非结构数据的处理中,硬件类脑计算系统可实现数据的高效并行处理,是目前研究的热点。在类脑计算系统中,最耗计算资源的矩阵乘法运算,可通过大规模存储器交叉阵列(Crossbar)来加速。因此,构建大规模存储器交叉阵列是实现类脑计算系统的硬件基础。值得注意的是,随着存储器阵列规模和
学位
量化投资源于国外,伴随着金融全球化以及我国计算机与互联网技术的发展,国内的量化投资起步虽晚却发展迅速。量化投资的核心就是量化投资策略的搭建,如今的金融市场形式复杂多变,对已有量化策略的有效性提出了新的挑战,投资者如何利用量化投资追逐利润和有效控制风险也成了国内外研究的热点。MACD策略是国内投资者普遍使用的策略之一,其关键就是利用近期资产价格计算出快线、慢线指标,根据指标形态对未来做出预判。MAC
学位
新型非易失内存(Non-volatile Memory,NVM)具有字节寻址以及断电不丢失数据的特性,处理器可以通过加载和访问指令直接访问NVM,程序员借助这些特性可以在NVM中直接构建数据结构而不需要使用序列化操作。然而传统的文件系统并不能支持以字节粒度对NVM进行写入操作,因此需要构建一种细粒度的NVM空间管理方式。动态随机存取存储器(Dynamic Random Access Memory,
学位
随着人工智能的高速发展,深度神经网络模型的参数规模日益增大。研究人员使用剪枝等技术将权值矩阵裁剪,转化为稀疏深度神经网络,从而减少模型的存储成本和计算开销。另一方面,随着图形处理单元(Graphic Processing Unit,GPU)算力的不断提升以及GPU加速技术的快速创新,快速深度神经网络推理加速已经成熟。然而,由于稀疏深度神经网络的核心算子稀疏矩阵乘法(Sparse Matrix-De
学位
未爆弹一般都埋藏在地表或者离地面较浅的位置,对国民的生命和财产安全具有潜在威胁,需要及时清除。如何准确高效地探测未爆弹是未爆弹处理中的关键问题。瞬变电磁法(TEM)由于虚警率低、目标识别能力强而备受关注。此外,如何根据所探测的信息准确估计出目标体的位置是未爆弹探测的另一个关键问题。基于此,本文围绕这两个问题展开了研究,完成的主要工作和取得的成果如下:(1)基于瞬变电磁法的基本原理,提出了未爆弹探测
学位
闪存单元不断增加其存储密度,从单比特(Single-Leve Cell,SLC)到三比特(Triple-Level Cell,TLC)、四比特(Quad-Level Cell,QLC),从而增加闪存固态盘的整体存储容量,但这也显著增加读写延迟并降低可擦除次数。为了提升性能,TLC/QLC固态盘内部通常采用混合架构,一部分闪存单元设置成SLC模式,从而构成SLC层,作为后端QLC层的缓存。当前混合固
学位
负载的倾斜分布现象广泛存在于各种场景中,降低热点数据的读写延迟对提升系统整体服务质量有重要意义。B+树是一种被广泛应用的索引结构,新兴的非易失内存(Non-Volatile Memory,NVM)为B+树应对数据热点问题提供了新的思路,但已有的NVM上B+树相关研究工作都没有对冷热数据进行区分,这降低了它们对倾斜负载的服务能力。本文便主要聚焦于在NVM场景下设计热点感知的B+树结构。在对B+树的热
学位
麦角固醇是真菌细胞膜的重要组成部分,是维生素D等甾体类药物的重要前体,市场需求大且供不应求。目前,麦角固醇主要从酵母、青霉菌中提取,存在含量低、生产成本高、生产能力不足等问题。许多研究者通过超表达麦角固醇合成路径中1~2个基因或者理化诱变等方法改造酿酒酵母,缺乏对整个合成通路的系统研究。酿酒酵母合成麦角固醇的代谢工程改造,有望大幅提高麦角固醇产量。本文围绕酿酒酵母中麦角固醇合成与转运路径,系统分析
学位
从2000年初始,中国开始加大对核电建设的论证,国家核安全局组织各个部门重新评估如何保障核电站的安全,为了更好的实现纵深防御与多样性(Defense-in-Depthand Diversity,D3),做好核电站保护系统的备份,多样性驱动系统即第二套保护系统的设计成为各位专家、学者的研究重点。核电站的多样性驱动系统作为核电站保护系统的备份,在多样性上的技术研究和工程应用越来越重要,作为核电站仪控系
学位
随着中国经济的发展,中国的国际影响力不断提升,国际学生学习汉语的热情席卷全球。随着5G网络的普及,汉语教育的技术和形式也在逐渐多样化,特别是在新冠疫情期间,远程学习技术得到迅速推广和普及,逐渐成为一种主流的教学模式。毫无疑问,在线教育课程也将是未来国际中文教育发展的一大趋势。随着直播和视频娱乐的兴起,越来越多的汉语学习者开始利用新媒体视频直播平台学习汉语。作为中国年轻一代集中的文化社区和视频媒体平
学位