云块存储系统中服务端缓存优化技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:goove8
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云块存储(Cloud Block Storage,CBS)作为一种新兴的通用块存储服务,具有高性能、高可扩展性、高可靠性、通用性等优点,倍受业界关注。目前,各大云供应商都面向租户提供了云块存储服务,支持着各行各业的基础数据存储。提升云块存储系统服务端缓存效率是改善其访问性能的有效手段,但面临诸多挑战。首先,多种类型的应用数据存放在云块存储系统,其访问负载的复杂性及动态性使得已有算法的有效性难以保证。其次,在大规模云块存储系统产生大量的日志信息,现有的分析方法带来了不可接受的传输和处理开销。最后,云块存储的架构特点以及新型缓存介质的普及对缓存的优化提出了设备耐写性等方面的新要求。如何针对复杂动态的云I/O负载特征及云块存储架构特点设计合理的缓存策略是目前研究的重点。为了解决上述问题,分别从缓存分配策略、缓存替换策略和缓存写策略维度对云块存储服务端缓存进行了优化,具体而言,主要研究内容和贡献如下:为解决当前广泛采用的缓存定量分配技术中存在的处理复杂、准确性低下、额外开销大等问题,提出了基于重用率模型的云块缓存分配方案OSCA,可在较低复杂度下搜索到一个接近最优的缓存配置方案,提高了缓存服务器的整体效率。首先,提出了一种基于重用率的缓存模型RAR-CM,以O(1)复杂度计算数据重用距离,进而获取云块存储系统中每个存储节点的缺失率曲线。其次,定义了服务端缓存总访问量作为优化目标。最后,采用动态规划方法搜索一个接近最优的缓存配置方案,并根据该方案执行缓存空间的重新分配。实际工作负载下的实验结果表明,与最先进的SHARDS方法相比,RAR-CM具有更低的平均绝对误差。同时,由于提升了云块缓存的整体命中率,相对于使用等量缓存空间的平均分配方案,OSCA减少了13.2%的后端存储服务器的I/O访问流量。为缓解云块存储系统中服务端数据重用距离过大而导致的缓存低效问题,提出了一种基于懒惰剔除的缓存替换策略LEA。当缓存空间满并且发生缓存缺失时,LEA将根据懒惰条件综合比较缺失块和牺牲缓存项的缓存价值以决定是否触发替换,从而延长了有价值的数据块在缓存中的驻留时间,有效提升了缓存性能。其中,懒惰条件由两个可调的懒惰参数(K和PARA)控制,采用不同的懒惰参数可以控制数据块在缓存中的驻留时长,以适应复杂动态的负载场景。仿真实验结果表明,LEA算法的命中率不仅优于现有最新的缓存算法,而且能显著减少SSD缓存设备的写入次数。为解决当前写策略对固态盘缓存造成过多无用写的问题,提出了一种基于机器学习的缓存写策略ML-WP。通过对腾讯云块存储系统I/O日志的统计结果和CBS系统架构的分析,ML-WP通过避免向缓存写入只写数据来减少固态盘缓存的写入流量。为了准确地识别只写数据,引入机器学习方法将数据分为只写数据和普通数据两类。同时,为了提高算法准确性,提出基于数据块请求级特征的分类方法。基于分类结果,只写数据将直接持久化至后端存储,不进行缓存。实验结果显示,与业界广泛部署的回写策略相比,ML-WP将写入固态盘缓存的流量降低了41.52%,同时将命中率提高了2.61%,平均读取延迟降低了37.52%。
其他文献
基于有限元分析的结构拓扑优化技术是实现工业产品优化设计的主要方式之一,其优化效率和精度决定了工业产品的迭代更新周期和可靠性。然而,由于CAD和CAE模型之间的不一致性及有限元形函数的低连续性,拓扑优化存在模型转换繁琐费时、求解精度低及设计结果边界信息无法显式表达等问题。目前,基于高连续性NURBS的等几何分析技术可以实现CAD和CAE的统一数据表达,采用移动可变形组件拓扑优化方法可显式地获得优化设
迭代函数系统是分形几何学的重要分支.本文主要是在迭代函数系统中考虑如下分形问题:在迭代函数系统中研究吸引子点的轨道的逼近问题;在类高斯系统中讨论字符增长的速度问题.本文共分为五章.第一章介绍所研究问题的相关背景.第二章给出共形迭代函数系统的定义、基本性质,以及相关预备知识.第三章研究迭代函数系统吸引子点的轨道的逼近问题.为了量化吸引子J中两个点:x,y的轨道的逼近程度,定义最短距离函数Mn(x,y
我国作为世界石油消耗量第二大国,70%的原油依赖进口,能源安全至关重要;同时,化石燃料带来的环境污染和温室效应也日益显著,为了保障国家能源安全以及实现本世纪中叶的碳中和目标,加速开发清洁能源已成为我国“十四·五”的重要战略。然而,清洁能源的缺点是不能提供稳定的能源输入,必须借助储能或能量转换技术,它才能真正走入能源消费市场。锌-空气电池是一种极具开发潜质的电化学能量转换与存储技术,目前制约其大规模
光催化分解水制备氢气被认为是一种很有前途的技术,光催化分解水能够利用太阳能将水分解成清洁的化学燃料氢气。尽管在过去的几十年里光催化制氢技术取得了巨大的进步,但是由于太阳能到氢的能量转化效率较低,这项技术仍然处于概念验证阶段。实现光催化分解水工业化应用的最大障碍之一是光生电子-空穴对的复合率过高。引入助催化剂不仅可以降低氧化还原反应的过电位,还可以促进电子空穴的分离,能够极大地提高光催化分解水反应速
本文研究了两个非线性的偏微分方程:带延迟的Degasperis-Procesi方程和电导-电阻对称的神经元模型。它们都是研究物理现象和生物现象的重要数学模型。在本文中,我们主要利用几何奇异摄动和不变流形的理论、相图分析、爆破技术等工具证明了这两个方程孤波解的存在性。第二章我们给出了本文中需要用到的一些分析工具:Fenichel的奇异扰动理论、Melnikov方法、交换引理以及爆破技术。在第三章,我
光催化CO2还原技术通过利用清洁丰富的太阳光来驱动“温室气体”CO2的还原转化实现碳资源再生,是环境控制和清洁能源利用的理想途径之一。高效光催化剂的开发是推进光催化CO2还原技术应用的关键。Ti O2由于其良好的光稳定性、低成本和环境友好,成为最受欢迎的光催化剂之一。然而,Ti O2这类传统无机半导体材料由于自身比表面积低、缺乏与CO2匹配的孔隙,因而光催化CO2还原效率较低,特别是在复杂废气环境
人体生物样本库以造福人类健康为宗旨,在探索基因与疾病、基因与环境的关系以及解决人类疾病问题方面意义重大,但是其产生和发展也引发诸多伦理问题。其一是人体生物样本库的知情同意问题。它与以往生命伦理学及医学伦理学中的知情同意有所不同。笔者认为这些伦理问题主要包括:知情同意对个人自主性或者自主决定权的挑战;再次同意的问题;知情同意的形式化和过度化。针对这些特殊困境,笔者认为应该始终坚持人的主体地位,尊重人
随着摩尔定律的发展,基于MOS结构的存储器件逐渐逼近物理极限。同时,尺寸微缩和工艺迭代的成本壁垒迫使产业界寻找新的存储方案。在众多新型存储技术中,相变存储技术以其优越的性能和三维堆叠能力备受瞩目,被视为最有可行性的存储级内存方案。为了充分发挥相变存储器的性能优势,存储单元必须能够在产品的使用寿命内可靠地工作。基于相变存储器的功能定位,相变存储器在操作性能提升的同时,需要实现比NAND Flash更
学位
校园建筑能耗包含建筑内部能耗和建筑外部能耗,内部主要耗能设备为供暖通风与空气调节系统(Heating,Ventilation,and Air Conditioning system,HVAC),外部主要耗能设备为充电桩(Charging Station,CS)。能耗优化可以降低用电成本,为校园建筑提供一个高效、舒适的环境。然而,高效、舒适的环境温度和最节能的环境温度之间产生了博弈行为,本文通过调节