基于新型非易失存储I/O栈的优化技术研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:drcqy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着个人移动设备的普及和互联网、物联网等信息技术的快速发展,我们的生活已经进入了大数据时代。如何从海量数据中高效地获得有效信息,帮助和指导人们进行决策,是大数据时代下我们面临的重大挑战,同时也为我们带来了前所未有的机遇。  存储是大数据处理平台的基础设施,传统的机械磁盘由于其高访问延迟、低带宽,难以满足海量数据快速处理和存储的需求,这也促进了各种新型非易失存储介质的蓬勃发展,涌现了以flash、PCM为代表的各种新型非易失存储介质。传统的I/O栈是基于磁盘设计和优化的,相对于新型非易失存储,仍有许多不适合之处。因此,我们需要对传统的I/O栈进行优化,以便充分利用新型非易失存储的性能。  针对现今广泛应用于企业级的PCIe闪存固态盘,本文对传统I/O栈的块层、驱动层进行了优化研究。基于我们自主设计的PCIe闪存固态盘原型系统,通过采用内核缓存旁路技术、本地命令队列优化设计、多请求队列和多中断的优化方法,PCIe闪存固态盘的性能得到大幅提升,读写带宽从2GB/s提升到2.8GB/s,4KB读请求IOPS增加到原来的4倍,4KB写IOPS增加到原来的6倍。  针对新型非易失存储介质访问低延迟的特性,本文研究了中断和轮询两种不同的I/O响应机制对小请求的性能影响。我们首先实现了一个支持请求特征感知I/O响应机制的I/O栈,该I/O栈对于4KB请求采用轮询响应方式,对于大于4KB请求采用中断响应方式。通过采用PCIe闪存固态盘上的DRAM来模拟新型非易失存储,对I/O栈的性能进行测试发现,相比于中断机制,轮询响应机制对于不超过4KB的请求会减少延迟和提升IOPS,但在多进程采用小请求访问的高负载场景下,基本不会带来性能提升,反而会大大增加CPU资源占用率。
其他文献
网格是继传统互联网、Web之后的第三个大浪潮,可以称之为第三代互联网应用。网格计算实际上是构筑在Internet上的一组新兴技术,其目标是在动态变化的、广域分布的异构虚拟组
随着微处理器、无线通信技术和微机电系统的发展,产生了无线传感器网络这一新的信息获取和处理模式。多个传感器节点通过无线通信、自组织方式构成网络,协同工作实时感知、获取
近些年来,无人驾驶汽车(Autonomous Vehicle)作为人工智能向传统技能性行业渗透的前沿领域,在世界范围内,尤其是中国和美国,呈现出爆发式增长的态势。轨迹跟踪控制技术处于无
信息技术的发展为我国大洋信息系统建设提供了支持和保证,使学科众多、结构复杂、数据量巨大的大洋系统建设成为可能。针对大洋信息系统建设方面的实际需要,就其中一些关键技
随着全球网络化、信息化的迅速发展,网络与信息安全问题日益严重。网络入侵及安全事件的频繁发生,使得应急响应受到了广泛关注。面对大量网络攻击事件,入侵检测系统已经能够用各
随着Internet技术、多媒体技术的发展,图像信息应用越来越广泛,人们对图形、图像等多媒体数据的需求也越来越强烈。图像检索技术逐渐成为目前的研究热点,传统的检索技术,如基
计算机和网络技术发展到今天,人们已经不满足现有的点对点的通信应用了。计算机支持的协同工作(CSCW,Computer Supported Cooperative Work)是计算机网络技术一个重要的发展方
计算机和网络无疑是这个时代最伟大的发明,它们的出现和迅速发展,将这个时代变成了信息时代。在当今社会中,计算机和网络已经渗透到国民生活的各个领域,不仅将人们从繁重的劳动中
网络教学为近几年来热门的网络应用之一。本论文针对高职高专院校当前教学工作的现状和面临的挑战,主要探讨利用开放源代码软件,构建基于校园网的课件点播系统(平台),开展适
人脸识别是目前生物特征识别中最受人们关注的一个分支,是计算机视觉与模式识别领域非常活跃的一个研究方向,利用人脸特征是最自然直接的手段,相比其他生物特征,它具有直接、友好