面向键值对存储的布鲁姆过滤器查询算法设计

来源 :湖南大学 | 被引量 : 0次 | 上传用户:hghkjhnnggh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网科学技术的迅猛发展,物联网、云计算以及移动通信技术的兴起,每时每刻,数以亿计的用户产生着数量巨大的信息,海量数据时代随之而来。布鲁姆过滤器(BloomFilter,BF)是一种时间效率和空间效率都很高的概率型数据结构,它是用来检测某个元素是否属于一个集合,可以使用它来处理海量数据,进行快速集合元素查询。键值对(key-value)存储是数据库最简单、最常见的一种组织方式,基本上全部的编程语言都带有应用在内存中的键值对存储。传统的键值对存储对于海量数据处理极具挑战,因此,本文对布鲁姆过滤器结构进行扩展,设计了两种面向键值对存储的布鲁姆过滤器查询算法,本文的主要研究点如下:在分析了目前多种使用布鲁姆过滤器结构进行键值对存储算法的基础上,提出了一种动态存储键值对的可扩展布鲁姆过滤器树(Scalable Bloom Filter Tree,SBFT)结构,并设计了该结构对于键值对的插入、查询、添加新value值的算法。SBFT结构将多个布鲁姆过滤器向量分布在一棵树上,并且本文使用了一种H3哈希函数进一步扩展了这种结构,这种新颖的结构不仅提高了键值对处理速度,而且支持动态数据处理,更适用于现实网络环境中。最后通过理论分析和仿真实验验证了 SBFT结构在处理键值对数据方面的有效性。在分析了多种处理键值对数据时会产生冲突情况的结构特点的基础上,提出了一种基于Bh序列的键值对布鲁姆过滤器(Bh-BloomFilter,Bh-BF),并设计了该结构对于键值对的插入、查询、删除和更新算法。本文选用了一种特殊的编码方式——Bh序列,解决了键值对数据插入时产生冲突的多种情况,提高查询效率,降低了误判率。最后使用真实的网络数据集进行仿真实验,实验结果显示,与现有的两种基于布鲁姆过滤器使用单元格cell处理键值对的结构相比,Bh-BF结构能容忍更多冲突情况,错误率更低,处理效率更高,更适合在真实网络应用中使用。
其他文献
里氏木霉因其纤维素酶产量高、产酶活力高而被广泛应用于工业生产纤维素酶,但其纤维素酶产量仍有待提高,如何进一步提高其纤维素酶产量成为目前研究的热点。大量研究表明,丝状真菌通过菌丝尖端向细胞外分泌蛋白质,据此推测:菌丝分支的增加可以产生更多的菌丝尖端,因而可以达到提高蛋白产量的目的。目前已报道影响真菌菌丝分支的基因有很多,比如ras1,ras2,rho A,spa2,cla4,cdc42和rac A等
商品过度包装屡禁不止,而目前质量监督部门采用手工测量加经验评估和计算推理等传统手段已不能满足日常检验的需要。另一方面,计算机视觉经过多年蓬勃发展,在立体测量、逆向
近些年,我国的校园欺凌事件依旧频繁发生,其中小学校园欺凌事件更是层出不穷。校园欺凌行为是双方力量不均下的一种伤害性行为,是对受欺凌者造成身心伤害的行为。校园欺凌事件对小学生的学习及生活都造成了一定的影响,这种行为导致被欺凌的小学生产生自卑等消极情绪。本文在对校园欺凌相关理论的研究下,对哈尔滨市A小学进行了调查研究。运用了文献法、问卷法和访谈法对哈尔滨市A小学的小学生和教师进行调查,学生问卷发放37
学位
约束传播作为约束编程的关键方法,在许多工业应用中被广泛使用,例如在设计与配置问题,数据库问题,参数选择建模问题,调度问题中已成为一种解决问题的有效手段。其中,约束建模
作为下一代网络发展的趋势,软件定义网络提出控制平面与转发平面解耦,将抽离出的控制平面集中化为中央控制器,并支持用户对中央控制器进行软件编程来自定义网络行为。相比于
1 引言随着全国电信市场的开放,各非电信部门也利用现有的资源开发各项电信业务,并向其它电信运行商出租线路以增加收入,尤其电力部凭借他们现有的架空电力线路安装全介质自
会议
疫情就像孙悟空变戏法,金口一开,把从前忙碌人们的脚步强行暂停了下来。"爸爸妈妈终于有空陪我了!"孩子的心声来的真实,但却似乎让本就内心慌乱的父母,变得更加手足无措,不知
会议
民族要复兴,乡村必振兴。发展乡村,实现乡村振兴是习近平新时期中国特色社会主义理论的重要内容。通过乡村振兴战略,可以使广大农民固守在农村就能实现发展,使农村走上可持续
随着当代计算机的高速发展,动画的编辑技术越来越引起人们的重视。传统的动画编辑,往往由专业的动画制作人通过三维动画制作软件创建角色与场景模型,再人工的对角色动作K帧,
加入WTO,既是我国政治经济生活中的一件大事,也是世界经济活动中的一件大事,这标志着我国社会主义现代化建设事业已进入一个崭新的发展阶段。加入WTO后,我国的资源成为世界资
会议