基于HBase数据库的时空大数据存储与索引研究

来源 :昆明理工大学 | 被引量 : 0次 | 上传用户:appconfig
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、PC技术、传感器技术的不断发展与普及,越来越多的高水平技术和多领域的应用都会涉及地理信息数据,例如数字城市,智慧城市,地图导航等。在信息化世界呈现多元化的同时,随着用户的需求以及对数据的精准性的追求不断变高,数据量也呈显出大幅度增加,所以如何高效的组织和管理海量空间数据是十分重要的问题。随着云计算技术的诞生,使得对海量数据的快速存储与高效计算得以实现。本研究重点研究了基于不同预区下使用Spark技术框架进行分布式存储,以及在Hilbert曲线编码的原有基础上进行了改进,提出了一种多层级自适应的Hilbert曲线编码。并对该方式存储在Hbase数据库中的数据建立二级索引表对数据进行检索。研究具体如下:(1)本文首先对研究背景、现状和研究依据做了详细的阐述,并对本文研究的相关技术与理论做了详细的介绍。在此基础上详细地分析了本研究对海量数据存储以及索引的可行性,并为后续研究提供了必要的理论与技术支持。(2)在大数据整体架构的特点上,结合时空数据的聚集性的特点,分析了常见的数据划分曲线的优劣性,在此详细阐述下,本文的创新之处在于对基于Hilbert曲线传统编码的方式进行了改进,设计了一种各层级自适应的Hilbert编码方式包括分级码与排序码,并结合这种编码方式以及时空数据的特性,在对Hbase数据库Rowkey设计以及列族与预分区的设计基础上,分别比较在单个预分区下2W、20W、100W、500W、1000W、1500W、2000W数据量的存储效率与在10、51(根据官方提供的公式计算)、100个预分区情况下对10W、100W、500W、1000W数据量下存储的效率是否呈一定的规律且检测是否官方提供的公式计算的预分区为最佳预分区数。实验表明:在相同数据量下,并不是预分区数越多则存储效率越高,没有呈现一定的规律,且根据官方提供的预分区公式计算并不是最佳预分区数。(3)最后,本文采用了具有100W数据量的数据库来作为查询的根据Hbase的特点,结合了Phoenix来对时空数据进行二级索引表的建立,并实现对数据属性的查询,并比较了有无索引表对数据查询的效率。实验表明,有索引表的检索效率明显高于无索引表的检索效率。而对于时空范围的查询,本文是基于底层的Filter的过滤器与Spark技术框架相结合来做的精确的时空范围查询和建立索引表的时空范围查询以及Geo Mesa系统作比较,证明本文关键技术研究的可行性和有效性。实验表明,该Hilbert曲线编码改进算法与基于索引表的时空范围查询算法结合的查询效率较Geomesa在本实验中提高了约16%-26%,较无索引表的算法的查询效率提高了约45-240倍。
其他文献
派河作为引江济淮输水通道,要求输水期水质不低于地表水Ⅲ类标准,因此有必要对派河沿线污水处理厂尾水进行截污导流,送入九联圩净化后排出,对保障派河水质、改善巢湖水质有着积极的意义。以九联圩生态湿地为例,文章在维持九联圩原有渔场肌理的情况下,通过功能分区、生境营造、生态系统构建等措施,打造特色圩塘湿地,为圩区类似尾水净化湿地的规划和设计提供参考和借鉴。
棉是世界上产量最大的植物性纤维,以棉为原料所制备的服装服饰、窗帘地毯、床上用品等由于穿着舒适、性能良好等优点而深受世界消费者的喜爱。然而,普通棉制品易燃,其极限氧指数仅为16%-18%,存在着很大的安全隐患。因此,对棉织物进行阻燃整理以提高其阻燃性,是保障消费者安全、减少国家损失的一项重要研究。卤系阻燃剂由于能赋予易燃材料较强的阻燃效果,且对材料本身的性能影响较小,因此成为早期阻燃剂的重要组成部分
苹果叶片直接反映了苹果生长期的营养状况。中国是苹果的主要生产国,然而国内苹果标准叶片数据的收集仅限于个别时期、个别品种的简单记录,没有形成完整且全面反映本国苹果标准叶片状况的数据集。因此,构建不同品种苹果标准叶片的图像及近红外光谱数据集显得很有价值。通过收集国家苹果资源圃中种植的170余个品种苹果树的健康标准树叶,并对叶片进行高清图像采集、近红外光谱采集和数据分类整理,建立一个品种覆盖较为全面的苹
以中国北方某湖泊(以下称A湖)为例,开展了底泥中氮磷污染及重金属生态风险评价研究,探讨多种评价方法的相关性,并分析底泥中氮磷元素向上覆水迁移造成水体富营养化的风险。选取A湖中心区域的10个底泥监测点位数据,对其总氮、总磷及重金属(Pb、Cr、As、Cd、Ni)含量进行分析,并采用有机污染指数法评价总氮污染,单因子指数法评价总磷污染,SEM/AVS比值法、地累积指数法与潜在生态风险指数法综合评价重金
"本月底前重点围绕疫情防控、重点行业领域系统治理、元旦春节前‘四风’问题开展监督检查。"近日,宣汉县纪委监委将近期监督工作重点发布在智慧监督工作平台上,全县各乡镇纪委及派驻(出)纪检组均在线领取了监督任务,并立即组织人员对辖区及管辖单位开展监督。像这样利用数据平台在线发布监督任务的情形,在宣汉县已成为常态。为将纷繁复杂的各项监督检查变得条理清晰,同时又能让各项监督检查的结果变得可视可追溯,宣
期刊
为将灞河右岸岸坡综合治理工程中清除的河道疏浚底泥用作滨河沙坑回填处理材料,选用水泥、高分子吸水树脂(SAP)和三乙醇胺(TEA)对河道疏浚底泥进行固化改性处理,并对不同养护龄期的固化底泥进行了室内直剪试验和固结试验,探讨了固化底泥的强度与变形特征。结果表明:固化底泥的峰值抗剪强度随着水泥掺量的增加而增大,水泥与0.5%SAP复合固化的底泥抗剪强度呈减小趋势,水泥与0.03%TEA复合固化的底泥抗剪
报纸