面向多核的NVM内存计算平台设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:shiyilang7879
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
长期以来,存储一直都是整个计算机系统的性能瓶颈之一。人们总希望获得低延时,高可靠,低能耗,持久化的存储设备。而新型非易失型存储器(NVM,Non Volatile Memory)的出现,则使人们看到了希望。由于这些存储器具备可持久化,低读写延时,低能耗,支持字节寻址等多种优势,因而吸引了研究人员的广泛关注。由于NVM的读写延迟与DRAM相当,因此,NVM可以直接连入CPU内存子系统中,与DRAM共同编址。从软件使用的角度来看,目前主要有两种方式使用NVM。一种是将NVM作为外设,通过接口或文件系统的方式进行管理和使用。另一种是当作持久化内存使用,CPU利用load/store类指令进行访问。显然,第一种方式会频繁陷入内核,从而导致过大的时间开销。因此第二种使用方式更加高效。即将NVM当作持久化内存使用,并映射到用户进程地址空间形成持久化堆,以便应用程序存储与访问持久化数据。本课题就是在持久化内存应用场景下开展研究的。由于NVM的持久化特性,传统的内存管理方法与内存操作方法并不适用于持久化内存管理。这主要表现在以下几个方面:首先,所有在持久化内存上的修改都会长期生效,因此无论是内存管理还是NVM对象操作,在进行修改时都必须满足ACID,传统内存管理并无此需求。其次,与传统内存的管理与使用一样,NVM也亟待一种面向多核,高效率的内存管理和对象并发更新机制。然而,NVM对象更加持久,因此NVM资源更加珍贵,长期运行的NVM内存管理系统面临前所未有的降低碎片需求。并且,因为NVM内存的持久性,任何NVM错误都可能是永久的,而传统内存管理机制并无此方面的考虑。最后,NVM的写寿命较短,亟待一种方案能够最大限度延长NVM使用寿命。针对上述问题,本文设计并实现了一种面向多核的NVM内存计算平台。该内存计算平台建立了内存管理机制,并在其上建立了事务化的对象存储机制,对外提供面向对象的事务编程接口。具体而言,该计算平台的主要研究工作包括:1.针对映射到用户地址空间的NVM资源,设计并实现了一套提供事务保障、面向多核的内存管理模块。2.基于NVM内存管理模块,设计并实现了一种实时在线内存碎片整理的算法。该算法构建线段树跟踪持久化内存分配和释放操作,并通过增量移动持久化对象实现碎片整理。3.针对NVM对象的事务性与安全性需求,设计并实现了一套基于智能指针与名字服务的编程模型,隔离了NVM操作与业务代码,降低了开发难度。4.基于上述NVM编程模型与NVM内存管理机制,设计并实现了一种满足ACID要求的软件事务存储机制,并为上层提供了事务接口。5.下层驱动提供了页面置换算法以提高效率与延长NVM寿命,但是其需要精确的访问统计数据。本系统基于智能指针,实现了一套精确的内存访问统计机制,并且可以向内核反馈页面访问状况。最后,本文对面向多核的NVM内存计算平台进行了功能测试与性能测试。在功能测试中,NVM的事务性、动态碎片整理机制和NVM对象操作都通过了测试。在性能测试中,本文基于上述的NVM内存计算平台,实现了一种持久化K/V存储系统。该系统与redis进行了对比测试。测试结果表明,单线程下该持久化K/V存储系统的随机读写吞吐率较Redis高40%,多线程下该持久化K/V存储系统的随机读写吞吐率较Redis高近十倍。
其他文献
随着社会经济的发展,汽车的数量呈显著增长的趋势,一方面给道路交通带来了巨大的负载压力,另一方面,由于汽车的违章行驶行为得不到及时有效的遏制,对人们的日常生活产生安全
随着信息技术的发展,海量数据库迅速增加,然而对其进行有效分析处理技术的缺乏,促使数据库中知识发现(Knowledge Discovery in Databases,简称KDD)技术的应运而生。数据挖掘(Data
近年来,软件定义网络(SDN)的理念快速兴起,同时兴起的还有SDN网络最有影响力的协议之一OpenFlow。SDN能够解决传统网络中网络结构复杂、网络管理复杂、新业务部署缓慢、厂商
聚类法在数据挖掘中具有很高的地位,但是很多传统方法只能对固定的数据集进行处理。随着技术的发展,许多领域,如互联网中的数据传输、通信网络中的通话数据、网站访问日志等,
随着互联网和信息技术的快速发展,特别是Web的全球普及,使得Web上的用户数目和信息量都在不断地增加。这样就产生了两方面的主要问题:一方面是如何让站点提供者通过分析用户的浏
在医学可视化中,一些快速简单的方法通常被广泛的应用到实际中,如最大强度投影算法,其优点在于绘制速度快及交互的实时性,然而会造成最终图像的深度失真。为了将此类算法更好
随着Internet的飞速发展,互联网的信息大爆炸给人们带来信息过载的问题,新闻资讯作为人们接触最多的一种媒体信息,发布方式已经从传统媒体逐渐的转移到互联网上。新闻资讯作为互
移动机器人视觉导航过程中图像处理的关键问题是道路识别和障碍物检测,论文是基于计算机单目视觉技术对非结构化道路识别和运动障碍物检测进行研究。在已有的技术基础上,经分
在互联网Web2.0时代,随着SNS社区网站的不断发展壮大,这种开放的平台的发展标志着社交网络时代的来临,同时这种技术特点也给网络学习带来了机遇。   本文设计并实现了一个基
光线跟踪是一种真实的显示虚拟场景的算法,该算法所渲染出的图像具有非常逼真的效果,清晰度可以达到照片的级别,而且算法的原理简单易懂,实现方便,因此自从光线跟踪算法出现