基于固态盘的外存排序和区域查询处理优化方法

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:xiaobenben
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
固态盘以其体积小、高带宽、低延迟、低功耗和抗震性等优点逐渐取代机械硬盘成为主流的存储。固态盘由于存储介质是闪存,因而它拥有闪存的所有特点,比如:读写不对称、写前擦除和擦除次数有限特点。早些年,数据管理系统中的外存索引和算法主要是针对磁盘的I/O特性进行设计和优化,很多在闪存介质上已经不再适用。因而,近些年基于闪存特性的索引和外存优化算法逐渐出现,但是它们都是只基于闪存介质的特点。如果把固态盘看作一个整体,随着技术的进步,越来越多的并行资源被集成进固态盘,使得它拥有了丰富的内部并行性。而目前基于固态盘内部并行性特性的工作还比较少,本文将基于固态盘内部并行性及其带来的带宽变化特点对外存排序和范围查询进行优化。具体的研究内容如下:首先,本文研究了如何让外存排序过程充分发挥固态盘内部并行性的问题。本文提出一种固态盘上新的外存排序算法,它基于run生成和run合并两阶段的经典模式。在run生成阶段通过预处理来消除合并阶段数据加载和计算的依赖问题,使得固态硬盘的内部并行性在合并阶段能够充分地发挥作用;与此同时,数据加载依赖的解除又能为进一步的流水线优化提供可能。在无序数据集上进行实验得出的结果表明,和目前固态盘上最优的外存排序算法相比,能取得比较好的加速比。第二,本文研究了闪存固态盘上外存归并排序的最优执行方案问题。外存归并排序作为很多数据管理系统的经典排序算法,它的性能对整体性能有着重要影响。在给定内存资源的情况下,固态盘上外存归并排序的I/O时间主要由输入缓冲区大小、输出缓冲区大小和合并路数决定,这里把上述配置叫做外存归并排序的执行方案。本文研究在内存资源限定的情况下,如何确定一组外存归并排序的最优执行方案使得I/O时间最小的问题。本文基于闪存固态盘带宽特性,提出Sort Decision算法计算在内存资源限定的情况下,使得外存归并排序I/O时间最少的最优执行方案。根据该方案进行外存归并排序,以获得更优秀的执行效率。这里将定内存资源的情况下固态盘上的外存归并排序问题,形式化为一个分段求解的凸优化问题,然后通过枚举每个子凸问题求解的结果,获取最终的外存归并排序策略。经理论分析,该算法的时间复杂度很低,且通过实验结果表明,由Sort Decision算法指导的外存归并排序,在给定内存资源较小的情况下明显优于经典外存归并排序算法。第三,本文研究了固态盘上外存归并排序的内存推荐问题。外存归并排序作为最常采纳的外存排序算法,内存资源对于其性能极其重要。以机械硬盘为环境进行传统的I/O代价分析,均假设单位I/O读写代价是个定值,使得外存归并排序性能最优的最小内存也是个定值。然而,在新型的主流存储固态盘上,由于内部并行性的存在,它的读写带宽随逻辑读写单元变大,带宽变化幅度很大。且当逻辑读写单元很大时,带宽增长的幅度逐渐变小。提供过大的内存会导致内存资源浪费。因而,在固态盘环境下计算出合适的内存大小推荐给外存归并排序,来使得外存排序运行时带宽接近于最大化,与此同时又不会造成内存浪费具有重要意义。因而,本文提出一个针对外存归并排序的内存推荐算法MRCD。它能根据输入的I/O时间偏差率,结合固态盘I/O特征数据和输入数据规模,给出最优的内存推荐。通过理论和实验验证,MRCD可以在任意类型固态盘上,都能保证在外存归并排序实际运行时间偏差率和输入的I/O时间偏差率近乎相等的情况下,实现比较大内存节省的性能表现。最后,本文研究了固态盘上范围查询问题。R-树是支持范围查询索引最重要的索引。因而,本文主要针对R-树上的范围查询进行优化。R-树是地理信息系统的核心索引,范围查询的性能对于地理信息系统非常重要。由于R-树索引任意一对父子结点加载过程必须严格顺序执行,因而很难并行加载,导致I/O加载的并发度降低。进而很难有效地利用固态盘内部并行性去加速范围查询过程中结点的加载。为了克服该困难,提出一种基于栈结构的范围查询算法,栈聚集查询算法SBS。它通过栈模拟查询递归范围查询的执行,通过延迟该过程中的范围查询操作,聚集批量提交提高固态盘内部并行性的触发。然后,通过理论证明该算法只需要O(Blog N)级别的内存空间资源。最后,在真实数据上,通过不同查询范围的实验来验证栈聚集查询算法的性能。
其他文献
为了解复杂地形条件下天顶对流层延迟(ZTD)特性并研究其精细化建模,采用四川省56个CORS站的数据,解算其高精度ZTD并对3种不同ZTD模型的精度进行评估,分析了ZTD时空分布特性受地形条件、季节因素的影响。基于ERA-Interim再分析数据建立了区域ZTD格网模型及其精化方法。实验结果表明:1)ZTD随地形分布的变化幅度大,模型的偏差分布也呈现出显著的不一致性,其中Saastamonien模
实际沥青路面中水分扩散行为的普遍性、长期性和隐蔽性使得服役于自然环境中的沥青路面材料不可避免的受到水分扩散侵蚀作用,由此造成的沥青混合料力学性能劣化和耐久性衰减问题不可忽略。水分通过扩散作用进入混合料内部后,与组分材料长期作用造成不同尺度水损伤行为。纳观尺度下水-沥青-集料分子相互作用,改变沥青-集料分子间非键势能,引起体系纳观结构变异;微观尺度下含水纳观结构演化造成胶浆-集料界面及体相流变性质劣
动静压气浮轴承以其摩擦小、精度高、无污染等优点,被广泛应用于高速/高精度加工领域。而以动静压气浮轴承为支撑系统的高速/高精度动静压气浮主轴作为超精密机床的核心零部件,是超精密机床实现超高精度加工的根本基础。然而,动静压气浮轴承还存在刚度较低,承载能力不高和容易失稳等问题,这些问题制约了动静压气浮主轴在高效、稳定、可控和工业化的超精密加工领域的应用。因此,围绕动静压气浮主轴动静态性能的理论分析及动静
基于掺杂氧化镁周期性极化铌酸锂(periodically poled lithium niobate crystal doped Mg O,PPMgLN)晶体的非线性频率变换的激光器能够满足军事光电对抗对于轻量化、结构紧凑的高峰值功率3~5μm中红外固体相干光源的迫切需求,但目前受晶体尺寸、损伤阈值以及晶体对长波长中红外激光吸收等因素的限制,PPMgLN中红外激光器的体积和峰值功率分别有待于缩小和
钠离子电池,因钠资源的储量丰富,分布广泛和成本低廉,已经成为极具潜力的下一代廉价高效储能电池体系。在众多的钠离子电池负极材料中,转化-合金型负极材料由于具有非常高的比容量,是高性能钠离子电池的理想负极材料。然而,因其嵌脱钠过程中发生的较大体积变化,极大降低了电池的循环稳定性。同时,钠离子较大的半径,使得该类材料表现出迟缓的电化学反应动力学,导致电池倍率性能变差。本文针对转化-合金型负极存在的缺点,
航天器是人类探索宇宙,执行空间任务的载体。航天器动力学与控制的研究有助于航天器在空间中平稳可靠的运行,在航天技术发展中起到关键的作用。其中,航天器交会的成功是许多航天任务的先决条件,姿态控制系统直接影响着航天器在轨运行的稳定。随着空间任务的多样化,航天器面临极端的空间环境、日益复杂的结构特性、输入受限、时滞以及时变特征等问题。对这些问题认识的不足会导致航天器控制性能下降或失效。因此,基于这些问题的
在金属塑性变形过程中,塑性变形区的速度场分布可以揭示金属的塑性流动规律,对塑性加工过程的工艺流程制定和参数优化有着重要的理论指导意义。而众多传统解析法所确定的速度场通常是具有不唯一性的动可容场,制约了金属塑性流动理论在速度场求解中的应用。鉴于此,本文研究了基于晶体学物理背景的转动率连续理论所对应的速度场特点。以“扩展滑移”机制发生塑性流动的刚塑性体内部的滑移晶面与其最大剪应力面保持平行,此时转动率
光纤传感技术经历了30年的高速发展,已经广泛应用于现代社会的各个领域,其中应用于惯性导航的光纤陀螺仪和水下声信号探测的光纤水听器是高性能光纤传感器的典型代表,这两种传感器的结构中光纤被绕制成环以增加探测灵敏度和减小体积。但是,受绕制工艺和材料等因素的限制,光纤环的应变、温度和双折射的不均匀分布会引入光学非互易性,最终限制了光纤环的工作性能。因此,研究不同工艺和材料光纤环的应变、温度和双折射等参量的
热防护结构设计是飞行器热管理的关键,是研制高超声速飞行器过程中的主要瓶颈。当飞机器高速飞行时,飞行器表面的温度会大幅度升高。同时机体内部的电子和电气设备要求工作温度不超过85℃,以保障飞机内部设备的正常工作。如此高的温差将给飞机热防护带来严峻挑战,现有的热防护结构设计准则与隔热材料已不能满足可重复使用设计要求,因此研制高性能热防护结构变得极为迫切。针对热防护结构的需求,对轻质防隔热一体化结构的强度
强化学习是机器学习的一个重要分支,是一种从与周围环境交互中学习的计算方法。强化学习关注未知环境中智能体实现目标的顺序决策,广泛应用于自然语言处理,机器人控制等领域。区别于传统的机器学习算法,强化学习智能体在与环境的交互过程中获取样本并实现策略学习,同时,智能体需要为交互付出时间和空间的开销。特别是应用于控制系统的强化学习算法,过多的交互会使环境发生改变甚至给智能体和环境带来损伤。因此,能够用最少的