基于缓存的存储系统读I/O优化方案研究

来源 :青海师范大学 | 被引量 : 0次 | 上传用户:pentagon888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数字化和大数据的快速应用使得各种应用场景对存储系统整体提出了更高的要求。传统的以写为主的负载场景正在向着读密集型方向逐步偏移,尤其体现在电子商务,各大短视频应用等领域。本文从FUSE以及LevelDB这两种当下使用广泛的存储引擎存在的对于读请求不太友好的问题出发,在LevelDB和原生libfuse上层API中设计实现了一种buffer cache系统,以降低磁盘I/O的比率,从而整体提高系统响应。本文主要研究内容以及创新点主要体现在以下几点:(1)本文在充分学习了FUSE框架内读I/O的执行流程的情况下,提出了一种以数据访问频度为hint的基于热数据缓存的FUSE优化方案,在其上层API系统中设计热数据缓存及相关管理策略。为了测试优化效果,基于高层API系统设计了两种文件系统:me FS和me FS-basic,前者是加入了缓存逻辑的,而后者没有加入缓存逻辑,除此之外二者并无差别。为了测试优化效果,本文采用filebench自动化测试工具及IOzone负载模拟、测试工具对me FS和me FS-basic两种测试文件系统进行测试。经过实验测试,在顺序读取、重复读取以及随机读取三种负载之下,单盘HDD上分别可以获得最高14.4%、16.36%和17.90%的时间性能的提升,而在SSD单盘上可以分别取得6.62%、14.62%和17.90%时间性能的提升。混合负载fileserver之下,HDD单盘上优化方案可以取得4.67%的吞吐量增益、5.14%的每秒操作量的提升以及3.6%的延迟降低,而在SSD单盘上三者分别为:5.47%、5.84%和1.7%。在混合负载webserver下,单盘HDD上吞吐量增益、每秒操作量提升率和平均时间开销降低分别为:43.1%、42.11%和47.94%,单盘SSD上三者分别为:6.98%、7.14%和6.84%。(2)结合LevelDB的表cache-块cache二级缓存中存在的空间浪费以及时间开销大的问题,本文在LevelDB的内存区设计一个独立于memtable及immutable-table的对象级热数据缓存,以key为线索维护近期内系统请求最为密集的value,考虑到磁盘区表压缩、更新及删除操作对缓存系统的数据一致性及有效性造成的冲击,设计了实时监听逻辑。通过自带的db_bench测试工具的测试,优化方案在处理随机读取时最高可以获得最高45%的时间开销的降低。
其他文献
藏族鱼棋游戏主要流传于我国甘肃、四川和青藏高原地区,是一种传统的棋类游戏,其规则分布局阶段和对局阶段,以围堵在直角区域判定吃子,以棋子比例判定输赢。博弈规则类似于围棋,规模和难度小于围棋。现阶段有益的电子化在线藏棋游戏系统少之又少,为此,若从规则相对简单的藏族鱼棋入手,研发具有博弈功能的藏族鱼棋在线系统,为更好地挖掘、传承和弘扬藏棋文化,为藏棋爱好者提供智能化的藏棋智力游戏平台,以及可以让其他民族
情感是认知过程中重要的一环,使计算机像人一样具有感知各种情感的能力,是人工智能领域的一个全新课题。语音情感识别(Speech emotion recognition,SER)是情感识别领域的重要研究方向,旨在让计算机能够领悟人的情感,实现人与机器之间的顺畅沟通。但语音情感识别领域当前存在诸如:缺乏有效的情感特征集、缺乏有效的情感识别模型等问题。本文从提升语音情感识别模型的识别性能出发,进行了基于深
语音端点检测是一种从掺杂有背景噪声的语音信号中区分出语音和非语音信号的技术,它直接影响着语音识别、语音增强等语音处理技术的性能。因此,语音端点检测算法的研究对语音处理技术性能的提高有着关键性的作用。目前,语音端点检测算法主要有基于特征阈值和基于模型匹配两类。其中,基于特征阈值的端点检测算法通过对比提取的语音信号的特征值和实验前设定的阈值进行比较,从而实现语音和噪声的判定。基于模型匹配的端点检测算法
语音是人与人之间最直接、最自然的交流方式。在现实生活中,语音会受到各种噪声的影响,噪声降低了语音信号的可懂度与清晰度,影响了人们之间的正常交流。语音增强就是针对受噪声干扰的语音而提出的强化语音的一种技术。因此,研究语音增强技术对语音通信、助听器等领域的发展具有重要的现实意义。藏语语音增强是藏语人机交互的基础工作,相对于汉语和英语等语种的语音增强技术,藏语语音增强技术还处于发展阶段。目前,实现藏语语
语音识别作为人机交互的第一步,具有很重要的现实意义。在现实生活中,语音往往会受到噪声、混响以及说话人的干扰,使得语音识别系统性能降低。因此,为了解决上述问题,提高语音识别系统对于含噪语音的识别准确率,本研究针对孤立词与连续语音分别提出相对应的深度神经网络模型,从而用于鲁棒性语音识别。本研究的贡献如下:(1)针对孤立词鲁棒性语音识别,提出了迁移自编码器双向循环神经网络模型TAEBN。为了提取含噪语音
由于国内外语音识别研究技术的飞速发展,汉语、英语、德语等资源丰富语言的语音识别技术取得了良好的识别结果,特别是端到端技术的兴起避免了多个模块固有的缺陷,降低了语音识别模型的复杂性。然而,藏语语音识别由于其语料库构建困难和方言的特点导致发展缓慢,因此,提高藏语语音识别系统的性能具有重要的研究意义。目前,藏语语音识别面临诸多挑战:第一,尚未拥有权威公开的藏语语料库资源,语料库构建不易;第二,在特征提取
随着通信技术的换代革新,5G为物联网发展注入了新的活力,物联网技术已在医疗、共享经济、智慧城市等领域被广泛的应用。与此同时,伴随着物联网技术的快速发展,新的安全问题也在不断的涌现出来。当前,大量的物联网设备没有安全认证机制,设备间的信任问题严重依赖于中心化第三方服务,但在愈来愈多设备入网的大趋势下,中心化管理机制在面对海量的设备连接时,需要消耗大量的资源来提供安全服务,同时又面临着单点故障的安全风
双通信模式可穿戴天线由于可以实现体表通信和体外通信间信息的无缝传输,在近年来引起了研究人员的关注。本文根据工作机制将现有的双模式可穿戴天线分为三类,并针对每一类研究设计了一款天线。所设计的三款天线可以方便地集成在衣物表面或直接穿戴,在无线体域网中具有较好的应用前景,具体的工作内容为:(1)设计了一款双频段双模式可穿戴天线。该天线可应用于工业、科学和医疗频段中2.4-2.4835 GHz和5.725
机器类型通信(Machine Type Communication,MTC)使所有机器具备连网和通信能力,是实现物联网(Internet of Things,Io T)的关键技术,有着广泛的应用前景和应用价值。随着机器类型通信在网络中的应用越来越广泛,安全问题逐渐成为人们关注的焦点。传统的一对一安全方案可以保证数据的保密性和完整性,保护用户的隐私数据,但当海量设备进行业务数据请求时会导致核心网拥塞