面向气象领域的多维数据索引结构的研究与实现

来源 :湖南大学 | 被引量 : 0次 | 上传用户:lurnay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据量的急剧增长,满足许多领域数据处理实时性和准确性的要求也变得越来越难,而数据查询是数据处理的基础,如何提高查询效率显得至关重要。以气象数据为主要研究对象,随着气象服务的发展,用户的查询需求增加,而气象数据具有大规模、多维度的特点,采用分布式的云存储方式,大多数云存储系统是基于键值对(Key-Value)来存储数据的,这种方式主要支持主键Key的高效查询,而无法支持非Key的高效查询,多维的复杂查询仍然需要对整个数据集进行扫描,查询效率低下。因此,在Key-Value的存储模式下,利用多维数据索引提高查询效率成为当前学术界和工业界的重点研究内容之一。本文针对气象领域典型的数据特征,为解决Key-Value存储模式下的多维数据查询问题,提出了一种高效的MOTree多维索引结构。MOTree的索引结构与传统索引不同,它是有序的平衡树,支持稳定的动态更新和多种查询操作(包括布尔查询、点查询、范围查询),它利用前缀规则来进行索引的构建和查询,提高了索引的空间利用率,减少了索引的多维查询时间。同时,本文设计并实现了MOTree的构建、查询和更新算法,构建算法是基础,主要包括直接插入路径、合并已有路径、去除冗余路径三个步骤。本文还定义了多维气象数据查询语言,主要用于用户查询请求的预处理和分段解析,基于MOTree设计并实现了多维气象数据查询引擎,该引擎可以支持多个气象数据维度的在线索引构建和多种气象数据的高效查询。本文用多维气象数据集和随机数据集分别将MOTree与已有索引结构在数据维度、节点数量、查询时间等多个方面进行了对比实验,理论分析与实验结果表明,MOTree支持高效的点查询和范围查询,且索引构建和更新时间开销更小。该索引结构能够为多维气象数据提供高效的查询,满足更多用户的查询需求,对推动气象领域的发展具有重要意义。
其他文献
当前,可转换债券已经成为了一个全球性的金融品种,但国内的可转债市场发展历史较短、市场规模不大,与我国资本市场的其他融资工具相比,可转债目前还只能算做是一个补充渠道。
人类社会进入21世纪,社会的信息化进程发生了重大变化。网络技术、电子技术、数据处理技术的广泛应用,使信息系统的发展和信息网络迅速蔓延到社会经济的各行各业,这是一场由
设计具有高效的超音速巡航能力的飞机,特别是超音速巡航的运输机是航空工业近30年努力实现的方向。为此各国的航空研发机构都对此类飞机进行了大量的理论研究和实验工作,得到了
本论文首先对物流业进行界定,从产业经济的角度对本文要研究的内容及范围进行定性分析,从宏观层面分析了我国物流产业的发展特点及现状,确定了以占据物流业主要部分的货运业和仓
在现代电子技术中,频率及时间的测量与它们的控制技术占有非常重要的地位。本文主要探讨有关短时间间隔的测量方法及其测量仪的研究。首先,本文对模拟内差法、游标法等高精度的
本文对企业文化以及学习型组织理论对企业执行力的作用进行了研究,并在此基础之上对基于文化创新的沧州供电公司企业执行力进行了评价分析。具体内容包括:1、对企业执行力文
立案制度改革中民事诉讼的价值冲突主要体现在:立案审查制下,法院对案件进行实质审查,将虚假诉讼等无意义案件排除,体现了效率价值,但审查标准过于苛刻,导致大量案件无法进入
摘要是对"论文的内容不加注释和评论的简短的论述",是对文章中重要信息的摘录。摘要的作用:一是能帮助读者尽快了解论文的主要内容,从中发现自己所需要的信息。二是为计算机检索
目的探讨宫颈存在非典型鳞状细胞患者的人乳头瘤病毒(HPV)基因分型及其临床意义。方法选取2014年7月至2015年6月期间在我院进行宫颈癌筛查且均存在宫颈非典型鳞状细胞的1 046
资本市场存在着作为监管者的证监会和作为被监管者的机构投资者和上市公司。当前,资本市场的违规情况屡见不鲜,例如证券机构违规、上市公司作假,而资本市场的监管就是一个监