Hadoop架构下海量空间数据存储与管理

来源 :武汉大学 | 被引量 : 31次 | 上传用户:Flying_wind
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着地理信息产业的飞速发展,作为GIS血液的地理空间数据正在随着指数级的速率增长,使得空间数据的检索、计算及分析等操作的难度不断加大,并且其应用到GIS的工作领域范围也在不断扩张,空间数据精度需求不断增大,导致海量空间数据的存储管理难度一再提升,迫切需要新的方法和技术来解决该问题。2005年开始Hadoop分布式系统开源技术迅速发展,其主要的两项技术HDFS和MapReduce可以为地理空间数据的分布式存储及并行计算处理提供技术支撑,为解决上述问题提供了一条新的思路。本文深入研究了地理空间数据的常见数据存储模式和数据存储结构,针对Hadoop分布式开源平台中的分布式文件系统HDFS存储需求设计了非结构化空间数据存储模式,以便海量空间数据进行分布式存储,分散计算机硬盘及处理器的压力。同时为将不同来源、不同格式、不同数据结构的地理空间数据统一存储在HDFS中,设计了统一化的数据转换接口。当前,空间数据索引的研究大都是针对单机建立的索引,很少有分布式存储空间索引研究。存储在HDFS中的空间数据完全无序,并且分布散乱,对空间数据的检索需要在集群中的每一个节点进行遍历,才能检索到用户所需要的空间数据。因此本文针对几种不同的数据划分算法深入研究,找出了适合海量空间数据索引管理的STR树索引,建立了数据划分—局部索引—全局索引的STR树空间索引机制。通过MapReduce并行处理框架对索引进行分布式计算,并在最后Reduce阶段将结果进行归并以返回给用户,优化了数据检索技术,大大提高了数据检索的效率。
其他文献
通过对济南一机床研发的"J1C6240-PLUS型电子车床"几个区别于普通车床特殊功能的简要介绍,阐述了该类产品升级换代的技术发展方向及该产品的技术特点、规格参数.
目的观察康复新液联合泮托拉唑治疗胃溃疡的临床效果。方法将医院2014年10月-2017年1月收治的胃溃疡患者120例作为研究对象,根据随机法规则将其分为研究组和对照组各60例。其
1目的探讨参芪扶正注射液含药血清对小鼠C26细胞增殖、凋亡及细胞周期的影响2方法2.1制备参芪扶正注射液含药血清选用wistar雄性大鼠20只,随机分为对照组和实验组。实验组按2
<正>连政办发[2013]77号2013年8月5日各县区人民政府,市各有关部门:《连云港市"12345"政府公共服务平台效能提升行动实施方案》已经市政府同意,现印发给你们,请认真组织实施
ABC分析法在库存管理中有着重要的指导作用,然而在企业实际库存管理中由于库存商品品目众多或分类标准不统一,单一层次单一标准的ABC分析法并没有真正的应用价值。文章结合我
探讨了城市资源与环境综合承载力的定义及基本概念,以及计算方法。并以秦皇岛市大气中TSP浓度,海水中COD浓度和DIN浓度以及水资源量和土地资源量为参数.计算了2000年及2010年资源与环境的综合承载
目的:观察香砂六君子汤对糖尿病性胃轻瘫的临床疗效。方法:选择糖尿病性胃轻瘫患者62例,随机分为治疗组和对照组,治疗组32例用香砂六君子汤加减治疗,每日1剂,水煎服;对照组30
<正>"曹龙语文工作室"创建于2013年,侧重进行"基于课标、基于教材的读写互促策略"研究。通过专业阅读、团队研修、骨干实验、诊断完善、逐渐推广等方式,改善和促进学生的阅读
环境管理和生态系统健康是密不可分的 ,生态系统健康是环境管理的目的 ,生态系统健康为环境管理提供了新的思路、新的方法 ,健康的生态系统为实现区域可持续发展提供技术支撑
有效节约投资和控制成本是管道建设中必须考虑的重要问题。文章以成本控制原则为基础,从天然气管道建设的准备阶段、实施阶段、竣工结算三个阶段分别进行了成本控制措施的探