基于Hadoop的矢量瓦片构建方法研究

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:and113
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机技术的快速发展推动了地理信息空间数据的快速采集、处理与应用。海量空间数据在Web端与移动端得到了广泛应用。基于金字塔技术的瓦片地图将空间数据应用于导航、地图显示、基于位置的互联网服务等领域,取得了巨大的成功。巨大的需要对瓦片地图的显示渲染与生产等提出了更高的要求。传统的栅格瓦片具有数据量庞大、样式不可定制、数据更新耗时等缺点,因此基于矢量瓦片的高效构建与应用端查询检索是现今发展趋势与研究方向。Hadoop是主流的商业级大数据处理架构,其利用MapReduce编程模型分析处理各类海量数据,并且借助HDFS存储海量空间数据。因此利用Hadoop解决海量矢量瓦片的生产与数据更新是一种可行性很高的方案。本文基于Web矢量瓦片地图的基本原理与相关的瓦片剖分模型,提出了一种顾及矢量要素空间分布的稠稀矢量瓦片构建算法,并借助KD树进行海量瓦片的空间索引构建与查询。同时基于矢量瓦片构建算法,设计实现了基于MapReduce的分布式矢量瓦片切片算法。并讨论分析了并行计算中的数据倾斜解决方法及各参数对并行算法耗时的影响。基于此,本文做了如下工作:(1)针对现阶段矢量瓦片在Web端渲染与调用传输的局限,提出了一种顾及矢量要素空间分布的瓦片剖分模型。依据空间索引KD树的二叉树思想建立瓦片的剖分模型,进行稠稀矢量瓦片的构建并建立四维KD树索引模型。与格网矢量瓦片进行对比实验,最终可知与格网矢量瓦片相比具有更好的瓦片数据均衡性与更短的网络传输耗时。(2)基于矢量瓦片的理论基础,研究矢量瓦片的分布式构建。针对传统矢量数据的局限实现了基于GeoCSV的海量空间数据模型,并实现了 Shapefile向GeoCSV的转换算法。根据MapReduce并行构建任务分解将矢量瓦片的并行构建分为Map、Combiner、Reducer三个阶段,进行MapReduce分布式数据处理。(3)实现了通过在Reducer阶段对数据进行采样的方案解决数据倾斜问题,并提出了利用空间数据的最小外包矩形降低Map阶段函数的运算次数的优化算法,提高矢量瓦片批量构建的速度。
其他文献
微孢子虫是专性细胞内寄生的真核生物,可感染原生生物和哺乳动物,也包括免疫缺陷的人类。家蚕微孢子虫(Nosema bombycis)是第一个被发现的微孢子虫,能感染家蚕造成微粒子病,给养蚕业带来巨大的经济损失。分子伴侣是一类蛋白质,在原核细胞和真核细胞中负责大量多肽的折叠。新合成的多肽在没有伴侣蛋白帮助的情况下容易发生非特异性的相互作用,形成有毒的聚集物。任何对蛋白质折叠过程的错误调控都会导致蛋白质
视觉感知技术是三维显示技术和人工智能领域的重要依托。近年来,视觉感知在人工智能技术中的应用日渐广泛和深入,基于相机摄影的视觉感知相比其他传感器感知技术具有成本低廉、算法灵活度高、应用更加简便等优势。本文主要涉及图像识别和三维视觉两个重要领域,在正文部分将分别从这两个方面对三维场景的视觉感知进行研究和讨论。传统的三维重建技术更关注对物体表面纹理的还原,缺乏对场景的语义理解。另一方面,传统的图像目标检
近年来随着硬件的计算能力、存储能力不断提升,通信技术不断创新,使得人们获取图像数据、传输图像数据越来越便捷,但与此同时人类社会中的图像数据量也迅速增多。如何利用计算机来帮助人类自动识别处理海量图像数据已经成为当下研究热点。目标检测是计算机视觉中的基础方向之一,它为计算机视觉应用程序提供最基本的信息,逐渐被应用在了各行各业,改变着人们的生活生产方式。目标检测所要完成的任务是自动地定位给定图像中特定的
图和超图的特征根问题是图论研究的热点方向之一.图的匹配多项式根、r-一致线性超树的谱半径和符号图的能量是图论的三个重要研究内容.开展这三个方面的研究,对清晰地认识图和超图的结构和性质有重要理论意义.令G是一个n阶简单连通图.记MG(x)=∑k=0[n/2](-1)km(G,x)xn-2k为图G的匹配多项式,其中m(G,k)是G的k-匹配数,0≤k≤[n/2].满足MG(x)=0的根称为图G的匹配多
随着经济发展和社会进步,以及对美好生活的向往,广大公众日益关注食品安全。但是,近年来频发的食品安全事件,尤其是餐饮行业的食品安全事件,已经给政府敲响了警钟,必须高度重视并增强对餐饮行业食品安全的监管。本论文结合政府失灵和信息不对称理论分析,以四川省青神县为例,分析了青神县餐饮行业食品安全监管情况等,分析目前青神县餐饮行业的食品安全监管存在的问题,并提出了对策建议。全文共六个部分,第一个部分是绪论,
作为一种天然的生物蛋白、高分子材料,蚕丝不仅应用于普通的服装领域,因其具有良好的机械性能、生物可降解和生物相容性,在食品、医药、材料等领域也具有非常广泛的应用前景。而谐振腔作为激光器的重要组成部分,在光波增强,筛选方面具有十分重要的作用,谐振腔的制备也越来越受到研究人员的关注,而目前谐振腔的原材料多集中于无机材料,且尺寸较大,从而导致其在生物医药领域的应用受到限制。将蚕丝蛋白制成微腔结构,并赋予其
目前我国水土流失状况严峻,因此相关水土保持监管工作刻不容缓。生产建设项目在建设过程中会开挖地表造成严重的水土流失,为了做好水土保持监管工作,最有力的手段是对生产建设项目扰动区(扰动图斑)进行监管。传统方法利用遥感影像对扰动图斑进行检测时依靠的是相关技术人员在遥感影像进行手动标注,但是手动标注效率低下、时效性差。尤其是在水体区域这种复杂的地势条件下,手动标注的难度远大于其他地区,因此需要一种自动化检
近年来,汽车工业取得了长足发展,客户对汽车品质的要求也越来越高,汽车NVH性能的提高成为改善汽车品质的主要手段之一。车辆排气系统是连接发动机总成和车身地板的重要部件,
随着工业机器人的出现并在焊接领域的应用,焊接技术自动化已成为一种发展趋势。目前使用的焊接机器人大多是示教再现型,并建立在人工焊接的基础上,相比于人工操作,机器人焊接缺少了柔性化,对于焊接过程存在的问题不能及时发现和纠正。随着计算机技术和图像处理技术的发展,将其与焊接机器人相结合,对焊接过程的熔池图像进行采集与处理,获取熔池图像的相关特征信息,与熔深和熔宽等建立映射关系,从而实现对焊接过程的控制和调
近年来,网络舆情在中国备受关注,频频发生的舆情事件对政治生活秩序和社会稳定的影响力与日俱增。在这种形势下,政府及企业的相关部门对网络舆情管理工作越来越重视,要求在监测方面加大力度,并且对事态的发展密切关注。新闻专题追踪是网络舆情监测的重要工作内容,在该任务上常用的解决方法是话题检测与追踪(Topic Detection and Tracking,TDT),但由于以下原因,现有的TDT方法具有很大的