面向云计算的多维数据索引研究

来源 :电子科技大学 | 被引量 : 4次 | 上传用户:uestchujun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算技术的广泛应用使数据呈现出爆炸式增长的趋势,对传统的数据管理技术提出了新的挑战。现有的云存储系统普遍采用分布式哈希表的形式存取数据,这种基于key-value的模型在单维度查询时可以获得较高的访问效率,但是对多维度查询的支持不足。当用户提交基于多个属性列的多维查询时,由于缺乏有效的二级索引系统的支持,需要运行MapReduce任务扫描整个数据集,从而使查询效率降低。因此,近年来云存储辅助索引成为学术界研究的热点,相关成果陆续发表在数据库领域国际顶级会议和顶级期刊上。本文对云计算环境下的多维数据索引技术进行研究。论文工作分别从云存储系统中的多维数据索引、基于主从结构的双层多维数据索引、以及纯分布式环境下支持动态维度扩展的多维数据索引三个方面展开,主要内容概述如下:1.针对现有云存储系统主要支持单键值索引,缺乏有效的多维索引,导致多维度查询效率较低的问题,本文提出了一种基于UB树的新型多维云数据索引方案:CloudUB。该方案首先利用Z曲线进行多维空间的降维,然后沿Z曲线将多维空间划分成Z区域,利用B+树组织Z区域信息,建立改进的UB树索引。CloudUB在执行多维查询时能够基于Z区域滤除不可能包含查询结果的数据空间,从而提高查询效率。另外,本文设计了基于HBase的索引构建和维护机制,并提出了相应的实时和离线索引构建算法。该机制把基于Z曲线降维的B+树叶节点保存在HBase中,将原始多维空间的查找问题转化成现有云存储系统能够支持的key-value查询问题,从而支持MapReduce技术对索引表的高并发访问。最后,本文设计了CloudUB的多维查找算法并进行了效率分析。基于Hadoop2.2版本、1000万级数据量的测试结果表明,CloudUB索引方案支持灵活、高效的实时索引构建,多维查询效率显著提升。2.通过对云计算系统中数据管理方式的深入研究,本文提出了一种符合云计算系统主从管理方式的双层多维数据索引:KD-R。该索引方案为云计算系统中的每一个数据服务器上的本地数据建立一个R树索引,所有本地的R树索引共同构成双层索引系统的下层索引,然后将每个R树索引的部分节点信息发布到全局服务器层,由此构建一个统一的KD树索引。针对将哪些局部索引节点发布到全局索引的问题,本文设计了自适应的节点发布算法,以及选择发布节点的代价模型,该代价模型可以估算局部索引节点的索引代价。索引系统根据代价模型对局部数据服务器上的索引节点进行周期性的检测,然后利用自适应节点发布算法,调整发布的局部索引节点,达到动态优化KD-R索引的目的。实验结果表明,基于KD-R索引的多维查询算法具有较高的内存利用率和查询效率,展示了良好的可用性。3.针对云计算系统中用户的需求具有弹性,存在动态扩展查询维度的现状,本文提出了一种基于Chord覆盖网络和分区位图的多维云数据索引:CB-index。该索引方案采用Chord覆盖网络构建全局索引,克服了主从结构带来的全局服务器易形成瓶颈的问题,实现了纯分布式的双层索引架构;同时,本文设计了分区位图编码机制,通过分区位图构建本地数据服务器上的局部数据索引,实现了局部索引节点与Chord覆盖网络的结合。根据分区位图编码前缀可扩展的特性,本文设计了动态的索引维度扩展算法,在维度动态扩展的同时避免了索引结构的完全重构。除此之外,本文还设计了自适应的索引节点调整算法、多维查询算法和索引维护算法。实验结果表明,CB-index索引具有较高的多维查询效率,并支持灵活的索引维度扩展,能够适应云计算环境下用户的动态查询需求。
其他文献
领队业务是涉外旅游专业最核心的课程之一,其要求就是培养合格的领队来适应日益增多的出境旅游团队需求。面对越来越多的境外旅游投诉问题,领队的能力培养也显得越发重要。本文
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
智能服务机器人在示教、娱乐、导游、助老助残等领域有着广阔的应用前景,是一个热门而又意义深远的研究领域。一般而言,自然和谐的人机交互能力是智能服务机器人必备的,因为
不确定数据作为一种新型的数据模型,被广泛应用于金融、基于位置的服务、移动物体监测、传感器网络等许多类型应用领域。近年来出现的面向不确定数据的分析处理技术已成为数
随着经济腾飞.中国正赢得世界各国的关注.不少研究也开始关注中国的对外直接投资。有分析指出.中国对外直接投资数量巨大.对其国内经济有着重要的作用。同时,这些投资金额对世界的
[摘 要] 库存一直被认为是企业发展的有力支柱,各个商业组织都试图实现库存水平的最大化,必须实施一些更好的有效管理方法。零库存管理就是其中之一。本论文介绍了零库存的含义及其对生产企业的作用,结合实施零库存存在的问题,在采购、生产、销售方面对其提出了实施零库存的具体措施。  [关键词] 零库存 生产 配送    一、概述  长期以来,库存作为生产和消费保障的重要手段受到推崇。但国外的统计资料表明,如
1 通用汽车公司 对通用汽车公司而言,1999年年报是“糟糕”的。在1998年的年报中,该公司1997年的产品质量、单车收益和销售收入等项指标都比1996年有明显的增长;但是1998年
肺炎球菌是威胁婴幼儿健康的主要病原菌,现有的23价肺炎球菌多糖疫苗不能诱发T细胞依赖的免疫反应,免疫效果差。近年来国内外学者研究制备结合疫苗成为热点,以解决2岁以下儿
竖琴以它富有表现力的音色特点,在器乐演奏中保持了一个不同寻常的地位.本文从和弦、踏板、等音代替、余音制止等几个角度,漫谈竖琴的演奏技巧.
建筑物三维模型是数字城市的重要内容,其自动化建模一直是测绘遥感领域研究的热点。传统的基于摄影测量的建筑物三维重建由于影像空间纹理和几何信息丰富,场景自动化解译困难