面向RDMA和NVMe的分布式块存储I/O路径优化研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:cloudzhu429
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
新型存储硬件和网络硬件的涌现使得存储系统对更高性能的追求成为了可能。对于底层设备而言,NVMe(Non-Volatile Memory Express)SSD(Solid State Drives)能够达到八十万IOPS,RDMA(Remote Direct Memory Access)技术已经能够达到小于两微秒的延迟以及高达两百万每秒的消息速率。现有的分布式块存储系统大多是针对传统硬件设计的,无法充分发挥新型硬件的性能。I/O路径上冗余的软件栈、上下文切换以及锁竞争开销已经成为了限制分布式块存储系统性能的主要瓶颈。针对上述问题,展开了一系列的测试和研究,提出了面向RDMA和NVMe的分布式块存储系统的I/O路径优化方案,并将其应用于原型系统Flame中。针对存储系统低延迟的应用需求,基于用户态NVMe驱动设计了适用于分布式全闪存块存储系统的用户态本地存储引擎Light Store,降低了多余软件栈的开销,并进一步结合RDMA网络实现了I/O路径零拷贝特性。针对多线程高并发的应用需求,分析并发现了影响多线程性能的因素,提出了基于异步轮询批处理的线程模型来处理网络和存储请求,并设计了基于RDMA的线程感知RPC方案(Thread-Aware RPC,TARPC),消除了多线程中上下文切换开销和锁竞争开销。利用fio工具对分布式块存储原型系统Flame进行详细的测试,实验结果表明,轻量化的存储栈Light Store相较于优化前将系统的单路延迟降低了约50%,多线程下专用I/O路径设计相较于优化前将系统的RPC消息速率提高了0.93~1倍。整体系统层面,对比当前的开源分布式块存储系统Ceph和Sheepdog,Flame在延迟方面降低了46.5%~63.5%,IOPS方面提高了2.5~6.35倍。
其他文献
我国西南岩溶山区,中上部多为陡峭厚层—巨厚层碳酸盐地层,下部多为的平缓泥岩、页岩地层。上部高陡可溶性碳酸盐岩,在长期的风化侵蚀作用下,节理裂隙发育,岩溶现象强烈,形成众多岩溶裂隙、管道;下伏泥岩、页岩等软岩地层中通常存在多套矿层,矿物开采历史悠久,在山体下方形成了大面积采空区。因此,为了研究岩溶山区复合薄煤层开采对上覆岩层及山体的变形影响,本文依托贵州纳雍普洒“8.28”特大崩滑案例,采用了现场调
近年研究表明,曲面微腔结构在制备高质量的多细胞球状体和建立体外显微组织模型方面更有效。使得其在组织工程、再生医学、癌症研究和药物筛选等研究领域得到了广泛的关注与应用。然而,目前曲面微腔的加工技术均存在一定局限性,要么制备工艺复杂、需要昂贵的设备,要么过程繁琐、耗时,要么微腔制作的重现性难以保证。因此,迫切需要发展一种简易、低成本且快速的曲面微腔制作工艺,以促进组织工程、再生医学和药物筛选等领域的研
二氧化碳排放造成的温室效应是当今世界面临的主要问题之一,火电厂作为CO2的集中排放源,对燃烧后烟气进行CO2捕集可有效缓解全球变暖问题。而燃烧后捕集CO2过程中,吸收剂的性能对捕集效率、系统能耗等起决定性作用。因此研究新型、低能耗吸收剂及其吸收CO2过程流动传递特性具有重要意义。纳米流体由固体颗粒和基液两相构成,作为吸收剂可结合固体的选择性、吸附特性以及基液的吸收、流动性和稳定的动力学性能,在CO
水资源关乎人类生存与发展,是保障经济社会可持续的重要物质基础。伴随现代化进程的加快,城市人口及规模不断扩大,对水资源的需求日益增加。水资源紧张已不再是少数缺水地区所面临的问题,正逐渐成为全国城市发展过程中的共性问题。合肥市坐拥全国第五大淡水湖巢湖,城市水资源可利用量得到了极大的提升,具有降水量充沛、湖泊水库众多水域面积大等特点。然而在合肥市快速发展的同时,对水资源的消耗也在急剧增加,大量用水所带来
基于聚集诱导发光(AIE)效应或是激发态分子内质子转移(ESIPT)效应而设计的荧光探针在近年来备受关注,因为AIE效应可以克服传统染料聚集状态下淬灭的缺点,同时带来高量子产率、高稳定性等优点,而ESIPT效应的引入可以有效增大荧光探针的斯托克斯位移,提高检测信噪比和灵敏度。但同时采用两种效应的荧光探针仍十分稀少。在本文中,设计、合成了一种同时具有AIE和ESIPT效应的荧光染料,利用该染料进一步
二维多态自组装结构的构筑在各个领域受到广泛的关注。其中,对于特殊的功能材料,分子的排列和相互作用都对材料的性能有着重要的影响,通过调控分子在固/液界面的二维自组装结构改善材料的性能具有重要意义。本学位论文设计合成了一系列芴酮和噻吩并菲衍生物,结合扫描隧道显微镜(Scanning tunneling microscopy,STM)和理论计算,系统地研究了分子构象、尾部基团、侧链、浓度以及溶剂等因素诱
糖酯表面活性剂具有很多优良特性,如高的表面活性、绿色环保、安全温和等,在绿色化学的倡导下有广阔的应用前景。本课题针对传统的烯基琥珀酸糖酯制备工艺进行改进,在制备过程中大大降低了水的用量,进一步提高了目标物辛烯基琥珀酸葡萄糖酯(OSGE)在产物中的含量。对其性能及应用进行研究,主要研究结果如下:1、以葡萄糖和辛烯基琥珀酸酐(OSA)为原料进行酯化反应,先对葡萄糖进行碱化和干燥,在低水分体系中进行反应
珊瑚砂是一种主要发育于热带海洋环境中特殊的岩土介质,广泛的分布于北纬30°至南纬30°的沿海区域及太平洋,印度洋的岛屿上,特别是在我国的南海区域分布广泛。珊瑚砂主要由珊瑚遗骸和其它海洋生物碎屑在原地或经过搬运后沉积而成,具有极高的的碳酸钙含量。特殊的发育生成环境、颗粒结构特征以及成分组成导致了珊瑚砂具有高孔隙比、高压缩性、高摩擦角以及易破碎等特殊的物理力学性质。随着对于能源需求的日益增长,可以预计
钢筋锈蚀是影响钢筋-混凝土结构服役寿命最重要的因素之一,钢筋-混凝土界面过渡区作为钢筋-混凝土结构中的第三相,对混凝土中钢筋的锈蚀过程有着重要的影响,当前学术界对于钢筋锈蚀导致混凝土过早到达服役寿命的研究忽略了钢筋-混凝土界面过渡区在此中的影响程度。本研究专注于氯盐环境下混凝土中钢筋的腐蚀过程,分析研究钢筋-混凝土界面过渡区在其中的作用,对延长钢筋-混凝土结构的工程使用寿命有着显著意义。本研究以钢
蛋白质内的质子/电子传递参与许多生物酶催化反应,甚至是许多酶催化反应的关键步骤或决速步,在许多生命活动中起到至关重要的作用。因此,研究酶催化过程中相关的质子/电子传递反应机理对于认识许多生物酶催化机理具有重要的帮助,也为探索生命活动的奥妙提供重要信息。甲胺脱氢酶(MADH)存在于革兰氏阴性菌Gram Negative Bacteria)和脱氮副球菌(parococcus denitrificans