DMF-arch:分布式高维数据管理技术研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:yykk110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet技术的飞速发展,分布式存储技术取得了长足的进步。同时,日益增加的用户和数据,也给分布式存储技术带来了新的挑战。另一方面,随着P2P计算模式的兴起、网络带宽的大幅增加和Internet端系统计算能力的迅速增强,原先被忽视的端用户设备成为一种宝贵的资源。如何充分利用这些端用户设备,在动态的P2P网络环境中构建大规模、高可扩展、高可靠、高性能的分布式存储系统,是近年来研究的热点之一。 网络技术的飞速发展与迅速普及使其在现代社会中的重要性越来越突出,对数据共享的要求也越来越高。目前的分布式P2P系统为我们在数据共享与发布等方面提供了便捷、高效的方法,因此为了能够提高查询效率,需要找到一种更适合分布式系统的分布式空间索引结构。另外高维对象的逻辑结构等自身特性使得对多维数据对象的查询变得更加复杂化,导致了目前现存的空间索引结构大多不适于分布式数据共享系统。 因此为了提高分布式系统的查询效率,本文提出了一种基于高维的更适用于分布式P2P环境的高维数据管理技术——DMF-arch。这种新型的高维数据管理技术首先将整个待查询的数据空间进行层次划分。各个节点通过一个分布式索引结构(IP)对自己周围邻近的信息进行管理,并且采用分布式BloomFilter(DBF)技术对待查区域进行有效的过滤。当某一节点查询请求时,首先进行本地搜索,如果未返回查询结果则根据DBF所提供的信息将该查询向上发送到其父亲节点。 实验表明本文提出的通过层次划分对高维数据进行过滤来解决高维问题的思想在查询效率等方面都优于其他的索引形式。从实验结论中可以看出这种过滤代价几乎可以忽略不计,能够有效地提高索引的查询性能,对于解决高维问题是非常有效的,通过与MR-tree的实验对比也可以看出DMF-arch无论在查询效率还是在查询返回点个数等方面都优于其他的集中式索引形式。
其他文献
本文研究的来电提醒业务是短信增值业务中的一种,是为了解决移动终端用户如何实时获取其在关机或不在服务区期间丢失的呼叫信息这一问题而产生的。文章首先对来电提醒系统的总
本文首先介绍了网络安全的现状,分析了在现有的网络中引入入侵检测系统的迫切性和必要性,并介绍了入侵检测系统的基本原理、分类及检测方法,以及标准化的问题。其次,提出了基于网
在光网络中,光学波分多路复用网络(WDM)是未来广域主干网络以及科学网格网络的潜在提名者。波分复用是不同波长的光载波同在一根光纤上传输的技术,它的本质就是光纤上频分复用 F
目前的高炉专家系统研究一般是基于传统数据库技术的。由于高炉专家系统的数据具有流数据(StreamingData)的特点,本文将数据流技术引入专家系统。将从传感器网络采集到的数据
未来的无线网将包含各种不同类型的接入技术,不同类型的无线网所提供的网络带宽和覆盖范围是各不相同的。如何利用这些异构的无线网提供无缝的漫游服务是一项颇具挑战性的工作
目前,作为数据仓库技术与GIS技术相结合的产物—空间数据仓库技术,已在测绘、交通、市政、航空航天等领域中逐步得到应用与发展。空间数据仓库技术是数字地球、数字城市建设
灌溉工程建筑物是水利工程设施之一,对促进我国农业发展起着极其重要的作用。灌区既是灌溉工程的建筑物,又是水资源调配的执行者。由于灌区规模大、管辖范围广,人员技术力量薄弱
多色点集划分研究的是如何将含有不同颜色点的平面划分为各个区域,每个区域中只包含一种颜色的点。这是计算几何中的一种组合优化问题。但是现有的多边形划分方式所得到的结
为了保障人类的健康,药品在投放市场前必须进行药理毒理性试验,特别是用于测量药品毒性的血液生化分析实验。血液生化分析实验要对大量的血项指标数据进行统计分析,目前的统计分
在图像的成像、数字化、压缩和传输等过程中难免会有各种干扰,形成图像噪声。为了使图像的后续应用得到更好的结果,在处理图像前一般都要进行降噪预处理。现有的图像滤波方法