论文部分内容阅读
鉴于遥感数据多尺度、多时相、全球覆盖率和高分辨率等特征,遥感数据的数据量呈现爆炸性的增长。这样就加大了对遥感数据进行存储与检索的难度,由于遥感数据格式各异、文件数据量大、处理流程复杂、遥感数据种类多、遥感影像展示和发布困难等诸多问题,因此,遥感影像数据在传输、存储、管理、数据共享、数据检索、数据处理、数据发布等各个方面临着极大的阻碍,特别是在遥感存储与检索方面,面临存储效率低、数据检索缓慢等问题,因此,遥感影像的存储与检索成为制约遥感应用的主要瓶颈和对地观测应用技术的迫切需求。本文针对海量、异构、多源遥感数据难以高效存储和快速检索的问题,研究了一个基于Geotrellis遥感影像数据存储和检索模型设计与实现,总体而言,论文的主要工作包括以下几个方面:(1)本文采用了Raster Frame栅格框架,将Spark DataFrames的强大地理功能,由Geotrellis的切片层提供元数据信息的技术支持,以Spark Catalyst数据类型灵活性和易用性来处理分析时空栅格数据,采用了用户定义类型TileUDF以Spark Catalyst引擎对Geotrellis进行编码,生成GeoTrellis Layers的入库元数据信息。(2)本文基于Geotrellis地理处理框架工具,实现了遥感影像元数据结构化显示、遥感影像快速入库、遥感影像金字塔并行构建。采用Geotrellis地理数据存储框架,可以使遥感数据一站式快速存储,大大提高了遥感数据的存储效率。采用分布式数据库Accumulo、Hbase和分布式文件系统HDFS作为Geotrellis地理数据框架的后端,丰富了存储框架的多样性。并采用了三种空间填充曲线的索引方法构建影像金字塔,通过采用Geotrellis不同的构建影像金字塔的参数,从而达到一站式高效存储遥感影像的目的。(3)本文提出了在地理大数据框架Geotrellis的存储端HBase的遥感影像分布式存储与查询方案。这种解决方案对遥感影像进行快速切分,并根据切分影像设计了一种基于切片ID和属性数据相结合的索引解决方案。然后,通过利用HBase的过滤机制设计了过滤列族,达到了在查询时筛选数据的目的。(4)本文采用开源栅格空间数据转换库(GDAL)和缓存WMS(Web Map Service)Tile的开源项目(GeoWebCache)进行栅格影像切片,将切片存储到Geotrellis的后端中,利用Akka多进程访问机制将瓦片遥感数据通过Leaflet的JavaScript地图开源库发布WMS地图服务,也可以将瓦片数据通过OpenLayers前端加载GeoWebCache的切片影像数据,再通过Cesium加载瓦片影像数据,将遥感数据可视化。(5)通过不同平台、不同空间索引技术和不同文件系统遥感影像金字塔入库的对比可以看出,基于Geotrellis遥感影像的存储模型的效率更高,更加适合遥感影像元数据的索引创建。本文又对比了不同索引瓦片数据的查询效率,本文采用基于HBase的二级索引机制,在查询占比不高的情况下,查询效率高于Z-Order空间索引的查询效率,有助于在查询条目少的情况下,更加高效地对瓦片数据高效的检索。