基于HBase的时空数据的存储与查询技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:hanqianggege
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
各行业信息化的发展,催生了数据爆发式的增长;移动设备的迅速普及,加速了时空数据的产生;硬件水平以及数据挖掘等方面的进步提升了分析时空数据的能力,这些都要求有更加高效的针对大规模的时空数据存储与查询方式。传统关系型数据库,其在水平扩展方面存在天然劣势,并不适合于大规模的数据存储;分布式系统利用整个集群的计算、存储能力,可以更好地处理、存储大规模数据,例如现有的Hadoop、HBase等,具有处理、存储大规模数据的能力,但并没有提供对时空数据的存储与管理的直接支持。针对上述问题,本文研究了现有时空数据存储的相关内容,设计了LPST-Hash,并基于HBase实现了时空数据存储与查询的原型系统,该原型系统实现了时空数据的近实时插入、批量数据导入、范围查询与kNN查询等功能,具有近实时、效率高等特点。本文主要工作内容如下:(1)本文研究了现有的时空数据存储方案,根据时空数据的特点,将时空数据在时间维度进行层级划分(Level),不同类型的层级对应时间维度不同的划分粒度,来加速时空数据的查询。(2)本文研究并分析了现有空间填充曲线(space filling curve)的特点,叙述了存在的问题——数据分布不均会带来的性能影响,并给出解决方案。该方案将数据按照数据分布密度来进行分区,在数据密集区域,分区的粒度将更细,而在稀疏区域,分区的粒度将更粗,以此来减少数据分布不均带来的性能影响。综合1,2设计出LPSTHash(Leveled Partitioned Spatio-Temporal Hash),LPST-Hash能够更好地应对查询中不同尺度的时间范围,并减少数据分布不均带来的性能影响。(3)根据上述的分层和分区结合的LPST-Hash,基于HBase设计合理的表格主键、列簇,结合HBase的协处理器,本文实现了时空数据存储、时空索引构建,并提供实时和批处理两种类型的数据导入方式;基于上述的时空索引,实现了时空数据的范围查询和kNN查询。最后,本文在实验室环境中部署了原型系统,基于时间跨度为6年的GDELT数据集以及模拟产生的1亿条正态分布的数据,选取开源的时空数据管理工具GeoMesa作为对照组进行了实验。实验结果表明对于大规模的时空数据,LPST-Hash索引机制在范围查询与kNN查询上均优于GeoMesa。
其他文献
相山矿田是我国最大的火山岩型铀矿田,近年来的研究表明,该地区不仅有丰富的铀资源,其深部也存在大量的多金属矿化现象。本文在前人研究的基础上,通过对相山地区区域地质背景
随着我国经济的高速发展,居民的个人财富不断增加,个人投资需求日益旺盛,近年来银行理财产品以其安全稳定性和较高的收益获得了居民的青睐,银行理财产品在个人资产配置中的占比也越来越大,成为现阶段民众重要的投资渠道,它在促进银行经济利润不断提升的同时也成为目前银行业的竞争最激烈的业务之一,现阶段各银行机构亟需重视和解决个人理财业务营销策略的优化和改进。本文主要结合市场营销理论对工行H分行个人理财业务的发展
集装箱结构是一种具有特定规格、刚度和强度的专门用来周转货物的大型容器,常用的集装箱是使用钢框架成为其基本结构的骨架,同时使用焊接而成压型钢板作为其两面侧壁板。集装箱钢结构材料采用较好强度,能够同时提高集装箱的刚度和强度,由于侧向壁板的作用使得集装箱结构拥有较大的抗剪强度和抗拉强度。同时,由于集装箱梁柱主体钢框架的共同作用,使其具备良好的整体抗侧能力。为了能够高效、安全、绿色的解决集装箱导致的此类问
期刊
光纤荧光测温技术具有耐高压、抗强电磁干扰、耐腐蚀、安全性能高等优点,弥补了传统测温方法在高电压、强电磁辐射、易燃易爆等恶劣环境下存在的缺点与不足,因此能够广泛应用
目的探讨高龄急性坏疽性胆囊炎患者的临床诊断和外科治疗方法。方法对收治的48例高龄(〉70岁)急性坏疽性胆囊炎患者的临床资料进行回顾分析。结果本组48例病人,40例行外科手术
目的探讨走过心绞痛的临床特点。方法分析14例走过心绞痛患者(研究组)的临床特点、心血管危险因素及冠状动脉造影表现并与20例典型心绞痛(对照组)对比。结果与典型心绞痛患者相比
目的总结微创小切口在胸部手术治疗中的应用效果。方法对256例患者应用微创小切口进行肺大疱切除、肺良性病灶楔形切除、脓胸及血胸廓清、心包囊肿切除术等,切口长度4~8cm,切
分析无线自组网中关于传输控制协议(TCP)的问题,研究基于按需确认的TCP协议在无线自组网中的改进算法。该算法规定接收方须根据发送方的要求对数据报文进行确认,减少确认(ACK)数量
建筑行业是我国的支柱型产业,建筑材料又是这个行业的支撑。随着社会的日新月异,网络技术的发展,建材市场一直处于高速增长中。然而在一场波及整个市场的原材料上涨风波下,当