基于闪存的海量非关系存储方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:zhushuangwu1999
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网行业的进展,越来越多的数据出现在各行各业中,极大地推动了社会的进步和时代的发展。而随着海量数据的增长,各种技术应运而生。另一方面,固态硬盘等硬件的应用,又使得数据在应用领域性能得到极大提升。在海量数据的应用中,和传统数据库中关系数据模型不同,最典型的是非关系数据库在分布式领域的应用,比如hadoop等应用框架的发展。但是由于常用的系统结构都是建立在传统硬件基础上,没有考虑固态硬盘等硬件的特性,因此性能优化基本集中在节点通信,负载均衡等方面,而忽略了硬件特性的发展。因此如何将海量数据,非关系数据结构,固态硬盘三者有机的结合在一起,根据现有模型进行优化,提升读写性能,是本文讨论的重点。本文在现有常用基于闪存的系统结构基础上,提出基于写和读两方面的性能改进。具体表现为:对于写算法研究,通过合理的数据结构和算法研究,将随机写的过程变成连续写的过程。并且对比固态硬盘连续写,和随机写的性能,以及将固态硬盘和普通硬盘应能做对比,完成了写算法的改进。在充分考虑和利用固态硬盘硬件特性的基础上,完成写优化算法的研究工作。对于读算法研究,通过改进布隆过滤器的结构,提出基于固态硬盘的多重布隆过滤器研究,对传统的布隆过滤器进行改造,将传统的布隆过滤器一次查询改为分步查询的过程,从而达到提升性能得效果。通过改进数据结构,利用固态硬盘读数据快的特点和布隆过滤器假阳性查询代价高的特性,提升读的性能。
其他文献
在计算机视觉和计算图形学中,基于图像序列的三维模型重建技术是一个重要研究课题。随着日益流行的虚拟现实、电子游戏、数字图书馆等领域的快速发展,高度真实感的三维模型的需
形式化方式包括了形式规范和设计验证两个方面,它的目的是以数学的方式来对系统进行描述,为保证软件的可靠性提供条件。在现代软件系统开发过程当中,经常会要求在某些限定的时间
综合模块化系统架构通过系统应用分区,构建面向通用平台、通用功能组织、应用功能独立、物理结构(射频、光电)和信息高度综合的开放式模块化航空电子系统,是实现系统功能和资源的
随着世界经济全球化及世界金融业的不断发展,金融活动中的不确定性增加,金融预测日益受到学术界及金融业界的高度重视。人们希望通过对金融经营管理活动中难以确定的未来发展
互联网技术的迅猛发展带来了信息共享、信息交流的时代,与此同时,随着指纹识别、掌纹识别、虹膜识别、人脸识别技术的研究和发展,生物特征图像识别技术依据生物特征普遍性、
现今,互联网购物已经逐渐成为消费的主要模式,在中国国民的购物消费中,网购消费比重逐年增大。半数以上的消费者在网购后会对所购买的商品进行评论,而超过七成的消费者在选购
随着嵌入式技术和Web技术的快速发展,嵌入式Web系统以其方便性、实用性等特点广泛应用于各个领域,越来越多的嵌入式设备可以通过Web进行访问和控制,同时也带来了诸多安全隐患
Web技术的广泛应用给人们的工作和生活带来了巨大的影响。由于Web技术具有开放性强和平台独立等特点,极大的降低了软件与网络通信系统的设计、开发和维护的工作量,减少了人员
多智能体系统(Multi-Agent System,MAS)通过建立一种有效的协作机制,使得相互独立、功能简单的智能个体协作完成复杂的目标任务。MAS技术已广泛应用于智能交通的建模、机器人足球