基于DHT的索引结构研究

来源 :复旦大学 | 被引量 : 0次 | 上传用户:zhaobaodong2006
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着DHT(分布式哈希表)的发明,各种大规模高容错的分布式系统在实际应用中变得十分普遍。基于DHT的各种应用需求也随之应运而生,例如一些基于DHT的数据库系统就具有复杂查询的需求。但是,由于DHT中的哈希方程破坏了数据放置的邻近性,在DHT系统中支持复杂查询变成一件十分困难的事情。在现有的方法中,一部分方法通过修改DHT内部结构来重新设计系统,而另外一部分则通过在DHT上层建立索引来支持复杂查询。后一种方法由于基于模块化思想而更具有实用性,因此我们采用这种方法。在本文中,我们研究了如下问题:如何利用DHT对外的通用接口来构建高效的分布式查询系统。我们提出了一套完整的方法(m)-LIGHT来进行DHT上的索引和查询处理。(m)-LIGHT包括一维索引LIGHT和多维索引m-LIGHT。首先,我们考察了一维的情况,并提出了索引方法LIGHT。LIGHT通过一种全新的命名机制将索引结构分布地放置到DHT上,由此提高了查询性能并降低了索引维护开销。就查询处理而言,LIGHT能实现性能的最优化,具体的包括范围查询,k-NN查询和Min/Max查询。同时LIGHT也减少了维护索引的带宽需求。我们进一步研究了多维数据的情况,并提出了m-LIGHT。相似的,m-LIGHT能实现查询处理和索引维护上的高效性,并且极大的减轻了在多维数据下常见的负载不均衡的情况。具体而言,我们扩展了原有一维的命名方程,将多维索引结构合理的分布到底层DHT系统中。同时,m-LIGHT采用一种数据分布相关的分裂方法来对索引进行分布式维护,并由此实现负载平衡的最优化。我们进行了广泛的真实实验来测量和评定(m)-LIGHT的性能。与当前其他基于DHT的索引方法相比,(m)-LIGHT节省了相当多的索引维护开销,实现了更加平衡的负载分布,并且在带宽消耗和查询延迟上都提高了查询处理的性能。
其他文献
对一些信号的监测尤其是对电压、电流、温度等模拟量的监测有着很广泛的应用,通过监测到的数据,可以对系统相关设置进行及时调整,为人们的生产生活带来便利与保证。系统采用Actel公司先进的模数混合FPGA以及Actel公司的SOPC设计解决方案,单芯片实现以CortexM1处理器为核心的片上监测系统。它可以完成对电压、电流、温度等模拟量的监测,系统模拟模块将采集到的数据ADC后送给处理器Cortex-M
学位
随着网络的普及和数据库技术的快速发展,信息量呈现出爆炸式增长。大量数据中潜藏着无数有价值的信息,如何挖掘利用这些信息成为当今数据挖掘领域研究热点。贝叶斯分类算法以
本文主要研究了定性仿真建模和定性仿真平台原型实现问题。定性仿真理论自上世纪七八十年代被提出以来,逐渐成为系统仿真和人工智能领域的研究热点,越来越受到科研人员和工程
伴随着多媒体和网络技术的发展和广泛应用,多媒体信息的内容保护已经成为人们关注和亟待解决的问题。数字图像作为一类非常重要的多媒体信息,它的版权保护和内容认证受到了广
经过近十几年的发展,架构设计已经成为软件工程领域一门重要的学科。在一个软件项目设计之初,首先进行体系架构设计已经成为广大软件开发人员的共识。但大多数项目只是停留在
桌面网格是一种由桌面PC机组成的网格,具有结构更复杂、动态性更强等特点。充分利用桌面网格的空闲计算能力可以为大规模计算提供一种廉价和便捷的解决方案,其关键是如何把任
本文研究了基于P2P网络视频监控末梢终端,以及为保护传输数据安全的编码路径保护技术。首先,针对当前互联网范围内的网络图像传输设计的现状与不足,解决协调访问终端和图像压
在抄表系统中,嵌入式系统的引入及其应用己经成了一个新的发展热点问题。而嵌入式操作系统的应用是近年来嵌入式系统向高端发展的趋势。嵌入式操作系统负责嵌入式系统的全部
目前逆向工程已经成为实现产品再创新开发及快速制造的重要技术之一,其在汽车、家电、模具、娱乐和医疗等行业具有广阔的应用前景。作为逆向工程中数据模型的一种重要的表现