【摘 要】
:
随机写请求因I/O尺寸小、存储空间离散引起存储性能下降,F2FS文件系统可将写请求从随机转换为顺序而被广泛使用。而对于具有先擦后写等特性的闪存存储,写单元为闪存页,擦除单元为闪存块,因此基于闪存为存储介质的固态盘(SolidStateDrive,简称SSD)采用异地更新的方式写入数据,并基于垃圾回收对有效数据迁移、无效数据进行回收,增加了额外的读写开销,引起写放大问题。由于F2FS文件系统仅通过简
论文部分内容阅读
随机写请求因I/O尺寸小、存储空间离散引起存储性能下降,F2FS文件系统可将写请求从随机转换为顺序而被广泛使用。而对于具有先擦后写等特性的闪存存储,写单元为闪存页,擦除单元为闪存块,因此基于闪存为存储介质的固态盘(SolidStateDrive,简称SSD)采用异地更新的方式写入数据,并基于垃圾回收对有效数据迁移、无效数据进行回收,增加了额外的读写开销,引起写放大问题。由于F2FS文件系统仅通过简单的块I/O接口与固态盘传递信息,引起固态盘无法获取文件系统层失效数据的逻辑块地址和识别数据的访问热度,因此无法有效利用文件系统语义信息改善垃圾回收效率。如何解决F2FS文件系统与固态盘间语义鸿沟,提高垃圾回收算法效率,是当前急需解决的一大研究课题。
针对固态盘无法获取F2FS文件系统中的失效数据的逻辑块地址问题,提出失效数据感知的固态盘垃圾回收优化方法。通过修改LinuxI/O栈,将F2FS文件系统中失效数据的逻辑块地址语义信息传递到固态盘闪存管理层,闪存管理层将失效数据的逻辑块地址置无效,减少数据迁移,降低闪存写放大。实验结果表明,与传统垃圾回收方法相比,系统性能最大可提高118%,写放大最大可降低54%。
针对固态盘无法识别文件系统层数据访问热度的问题,提出冷热数据感知的固态盘垃圾回收优化方法。通过修改LinuxI/O栈,将数据访问热度语义信息从F2FS文件系统传递到固态盘闪存管理层,结合已有的冷热识别算法,将冷热数据分别存放,减小数据迁移,降低闪存写放大。实验结果表明,与基于数据逻辑块地址冷热识别的垃圾回收方法相比,系统性能最大可提高57%,写放大最大可降低27%。
其他文献
大数据时代,闪存凭借优越的性能逐渐取代磁盘成为主流的存储设备。在闪存存储系统中,闪存文件系统的日志结构写方式和闪存转换层的地址映射功能,使数据块和空闲块离散地分布在文件系统和闪存中,带来了严重的碎片化问题。碎片的管理分为碎片避免和碎片整理,现有的碎片避免方案主要面向磁盘文件系统,不适合闪存文件系统;而碎片整理引入了大量的写开销,严重缩短了闪存的寿命。 针对闪存文件系统的逻辑层碎片问题,提出了一种
基于阻变存储器(Resistive Random Access Memory,RRAM)的交叉开关(Crossbar)阵列结构支持高能效存内计算(Processing-In-Memory,PIM),是实现神经形态计算系统最具潜力的架构之一。然而,RRAM器件其单元本身及RRAM单元构成的阵列具有一些非理想因素,这些非理想因素会影响计算的操作数进而使系统的计算准确率降低。选用单元稳定性更高的数字RR
传统动态随机存储器(Dynamic Random Access Memory,DRAM)面临存储密度难以进一步提升、刷新功耗高等问题。而新兴持久内存(Persistent Memory,PM)的读写性能与DRAM接近,同时还具有低功耗、非易失等特性。这使得PM正在成为DRAM内存的一种补充。在PM的几种访问模式中,直接访问(Direct Access, DAX)模式支持应用利用PM的非易失性,且避
随着闪存工艺尺寸的缩小以及单元内多比特存储技术的发展,闪存芯片的容量逐渐增加,但闪存的可靠性问题变得更加严重。固态硬盘(Solid State Driver,SSD)内部现有的可靠性方案(如ECC、RAID)不能很好的应对闪存的多级可靠性问题;另外,固定的可靠性方案未考虑块间磨损不平衡:在SSD前期提供了过多的冗余,从而增加了闪存的写放大,并且在SSD后期也不能容忍条带内出现多个错误的情况。 针
键值存储系统是当前数据中心的主要存储技术,具有高性能、高可用和高扩展性的特点,能够满足大数据环境下的数据存储需求。另外,非易失性内存(Non-Volatile Memory,NVM)是一种新型存储设备,具有数据非易失、高存储密度、高性能和高并发等特点。新型NVM设备的出现,也为研究更高效的键值存储系统带来了机遇与挑战。 基于日志结构合并树(Log-StructuredMerged-Tree,LS
基于日志结构合并树(Log Structured Merged Tree,LSM-tree)的键值存储系统以其良好的存储扩展性而被广泛地用作于各类互联网应用的存储服务。然而,互联网中数据总量的急剧增长为键值存储系统带来了新的问题。一方面,键值存储系统的缓存容量逐渐变得相对不足,而缓存往往对整个系统的性能起到关键性作用。另一方面,键值存储系统往往为多种应用提供服务,如出行类、餐饮类以及办公类应用等。
互联网即将进入5G时代,智慧终端和传感器等设备产生的数据呈指数级增长,对云基础设施的需求不断扩大。键值存储系统作为非结构化数据库的代表,在数据中心扮演着举足轻重的角色,其主要存储引擎是日志结构合并树(Log-StructuredMerge-Tree,LSM树)。但测试发现,由于LSM树的L0层SST文件的键范围存在重叠,加上L0层容量控制机制,使得LSM树的合并操作会引起系统写性能周期性波动。
新型快速存储设备NVMeSSD(Non-volatile Memory Express SSD)以其高性能,低延迟的特点,逐渐替代传统硬件设备成为构建大规模高性能存储系统的首选。硬件设备变更推动了I/O软件栈的变革,为了降低I/O路径的软件开销以及充分发挥硬件性能,NVMe精简软件栈逐渐成为NVMeSSD等高性能存储设备的标配。然而无论内核NVMe软件栈还是用户态NVMe软件栈均以减少I/O请求处
在全球数据量呈现爆炸式增长的大数据时代,传统存储系统架构已成为瓶颈。NVM(Non-Volatile Memory)的出现,为解决传统存储系统内外存之间的性能鸿沟、满足数据密集型应用对内存访问的需求带来了希望。在DRAM(Dynamic Random Access Memory)与NVM混合的架构下,由于NVM在不同应用场景下需要满足不同的内存需求,使得传统用户层的动态内存分配器不再适用,需要重新
手绘草图是人类进行思想交流的媒介,在沟通和设计中都扮演着重要的角色。近年来,深度生成模型在光栅图片生成领域迅速崛起,手绘草图的生成也受到了广泛关注。Sketch-pix2seq是目前手绘草图生成领域最受欢迎的一种生成模型,但它无法捕获组件的全局位置关系,当草图组件较多时,这一问题更为严重;同时现有的草图生成模型受VAE(Variational Auto-encoder)框架的影响,很容易生成细节表