基于近优先验的分布式存储系统参数调优方法

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:yuyan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网规模的逐渐扩大,为了追求高可靠性、高扩展性和低成本的存储服务,越来越多的机构、公司、个人开始接受并使用分布式存储系统。各行各业对分布式存储系统多样化性能需求的满足依赖于准确高效的参数调优,但它通常面临着参数规模大、参数间依赖关系复杂等方面的严峻挑战,而且调优目标之间也常常相互影响。现有调优方案对分布式存储系统的高维空间与参数关联性考虑不足,或聚焦于单个性能指标,使得其优化的参数质量和效率都不高。为了克服这种不足,提出了一种基于近优先验的多目标优化方法NOPMOO(Near-Optimal Prior-based Multi-Objective Optimization),其核心是一个基于多目标进化算法的迭代计算模型,通过参数关联分析和优化得到对单个目标优化的参数结果,并将结果进行综合作为多目标优化模型的先验,然后通过迭代地执行优化算法筛选出性能表现优异的参数。这样不仅解决了参数关联导致的调参不准确的难点,而且避免了在高维参数下优化算法时空复杂度高带来的效率低下的问题。为验证NOPMOO方法的有效性,设计并实现了一个面向分布式存储的调参系统DSST(Distributed Storage System Tuner),围绕具有代表性的分布式存储系统Open Stack Swift,面向典型应用场景进行参数调优,实现了吞吐率和延迟的同步优化。实验基于真实环境特征的负载测试系统的有效性,结果表明,DSST能显著地提升优化的参数的质量,并提高参数优化的效率。对比默认配置、人工配置和现有调优系统,DSST最终优化的参数能够将吞吐率分别提升11.93~48.74%、14.68~36.89%、9.78~28.17%,将延迟降低19.20~47.16%、12.46~38.87%、7.48~41.11%;同时实验表明对于同一负载,DSST将性能优化至最优时,较现有方法迭代次数更少,证实NOPMOO方法在参数调优的质量和效率上的优越性。
其他文献
近年来微型光谱仪发展迅速,将高效便捷的小型近红外光谱仪集成到手机等便携设备,有望实现食物营养分析和人体健康监测。近红外光谱仪的光源小型化可通过近红外荧光粉组合蓝光LED而实现,即NIR pc-LED。该器件中近红外荧光材料是重要的关键材料,然而现有近红外荧光材料普遍存在光谱覆盖范围窄、发光效率低且与蓝光LED芯片不匹配等问题。为达到实际应用的要求,亟需开发能被蓝光激发、量子效率高且发射光谱位于70
巨噬细胞参与急性免疫反应的每个过程,并且调节组织稳态和组织修复。生物材料植入后引发的由巨噬细胞控制的炎症级联反应,其通过促炎和抗炎极化状态决定机体接受或排斥植入物。细胞外基质(ECM)是由数百种蛋白质组成的的复杂而动态的结构,可为细胞提供适宜的生物和物理环境。最近的研究结果表明由生物材料所提供的物理信号也会影响极化过程。因此,本课题重点研究仿生基质的两种物理性质对巨噬细胞表型的影响并探索相关机制。
本文通过对中国古诗词艺术歌曲《鬲溪梅令》歌词意境美、旋律意境美、演绎意境美三个不同角度的探索研究,认识到从唐代到南宋时期的词调音乐是如何在姜夔的笔下发挥到了极致。特别是他的自度曲,注重词与序的搭配,虚实结合、文辞优美、旋律悦耳、音韵协畅,在继承中华民族传统音乐的基础上,取其精华,去其糟粕,打破原有传统音乐的束缚走出了自己的创新之路。带有鲜明的音乐风格,意境幽远舒朗、含蓄深蕴,从而领略到中国古诗词歌
随着社会的发展,人们的物质生活水平跟以前相比有了很大提高,看电影成为人们业余时间里追求精神世界享受的一种娱乐休闲方式。每年也都会有大量的新电影发布,面对这海量的电影,如何从中发现自己真正想看的电影成为很多人面临的问题。因此,针对这一问题,提出了一个专门用于发现、欣赏、讨论电影的系统。电影推荐及点评系统根据标准的开发步骤,第一步分析了需求,展示了不同角色的用例图,第二步是设计系统,包括整体结构设计、
当今社会运转速度和人们的生活节奏越来越快,信息流动的速度也越来越快。以微博为代表的社交网络平台,凭借其较低的门槛,丰富的信息流,图文并茂的表达方式,逐渐成为新媒体时代重要的信息交流工具,吸引了大量的活跃用户。在微博,用户不仅可以分享自己的生活,还可以对热门的社会事件表达自己的情感。因此分析庞大的微博用户对于社会事件的情感演变过程,对于舆情监控,知识管理和品牌销售都至关重要。本文从两个角度分析社会事
进一步降低能源及化石燃料的消耗,并在低碳发展方面取得进展,对于行业来说是非常至关重要和迫切的。氢能将会在炼钢、重型卡车、航运和水泥生产等行业的低碳减排方面发挥关键作用。最近,中国宣布的碳中和决策,正鼓励着交通、发电厂和其他相关行产等主要排放行业,为低碳发展采取行动。目前,氢燃料已在长途载重卡车的脱碳战略中起着关键性作用,因为使用氢作为燃料比使用柴油作为燃料更便宜。相比较于传统的内燃机,质子交换膜燃
电力工业的安全生产关系着社会稳定和经济发展,因而电力巡检对确保电力事业安全生产具有重要意义,传统电力巡检方式存在工作量大、效率低、不准确的缺点,已不再适合当下巡检要求。深度学习算法能够深度挖掘数据特征,在目标检测领域表现优异;与此同时,AI处理器技术飞速发展,极大提升了硬件的算力,两者结合为电力巡检提供了新思路。本文基于Ascend 310 AI处理器实现视觉电力巡检系统,在嵌入式平台部署深度学习
在教学过程中,了解学生的学习情况,以此进行教学内容和方法的调整是教师的重要工作。而与线下教学相比,在线上教学中,教师缺少相应的手段来了解学生的学习状态。目前,基于线上学习行为数据进行学情分析的研究较少,且这些研究大多都是基于教学视频观看数据,极少关注到其它学习行为,基于此进行学情分析的有效性和准确度有所欠缺。本文则基于师生在子曰平台学习过程中产生的多种学习行为数据进行研究,以期得到更全面,更精准的
随着互联网技术的快速发展,单核处理器已经无法满足大规模数据计算的需求,多核并行计算成为提升计算速率的重要方法。数据流编程是针对大规模密集计算和多核计算的编程模型,通过将计算任务划分成子任务并分配到不同的核心来实现并行计算。任务划分的前提是估计任务的工作量,估计的准确性影响划分效果的好坏,进而影响计算任务的并行性。针对目前缺乏工作量细粒度估计方法的问题,设计并实现了一种基于程序语句的工作量估计方法。
近年来,随着大数据、云计算等技术的不断发展,计算机处理数据量不断增大,同时,各种虚拟化技术逐渐发展成熟,传统互联网已经无法满足需求。为了满足云数据中心等应用场景中动态扩展、高弹性部署等要求,软件定义网络架构应运而生。然而,新的架构也带来了新的安全问题。一方面,软件定义网络的高扩展性导致网络设备多元化和分散化,为网络状态数据的集中化采集提取带来了新的挑战。另一方面,其控制转发分离的设计,使得传统网络