利用Spark平台的分布式图像分割方法研究

来源 :王宁 | 被引量 : 0次 | 上传用户:sweetlijun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着对地观测技术的飞速发展,各类高时空分辨率传感器不断面世,遥感图像数据量呈几何倍数增长,其高效存储和处理技术面临极大挑战。分布式集群的出现为大尺度海量遥感图像的准实时处理分析提供了技术支撑和计算保障。图像处理算法与分布式集群相结合处理大尺度图像成为一种发展趋势,可以拓展现有图像处理算法计算能力和满足多样化图像处理需求。但是,大量面向对象的图像分割算法在直接移植到分布式环境运行过程中仍然面临诸多难题,主要表现为图像瓦片边界的不完整分割对象、分布式方法的数据冗余和计算冗余、Hash分区方法的数据倾斜等问题。围绕上述问题,本文面向Apache Spark平台开展了以下四个方面的研究:(1)面向重复计算的分布式图像分割方法研究。针对面向对象的图像分割算法在图像瓦片边界的不完整分割对象问题,本研究提出了以三个辅助波段(边界信息、类别信息、方向信息)为支撑的中间计算结果信息载体,克服了分布式计算节点中相邻图像瓦片之间的广播通信描述难题;构建了以掩膜提取、像素还原分割、属性信息替换为理论基础的边界不完整分割对象修复方法,实现了图像瓦片边界不完整分割对象的修复。使用两种经典图像分割算法在多个研究区验证,结果表明该方法的图像处理结果与参考真值图像具有更高的相似性。(2)利用辅助信息集成的分布式图像分割方法研究。针对(1)所提的重复计算图像分割方法存在的数据冗余问题,本研究提出了以边界分割对象为主体的缓冲区自动检测机制,解决了依赖人工经验设置缓冲区尺寸的问题;建立了以精简辅助波段数量和范围为目标的辅助信息集成方法,实现了重复计算图像分割方法所产生冗余数据的消减。使用两个种子点图像分割算法在多个研究区验证,结果表明辅助信息集成图像分割方法通过消减重复计算图像分割方法产生的冗余数据有效提高了图像分割任务的运行效率。(3)基于邻域区域先验的分布式图像分割方法研究。针对(1)和(2)所提分布式图像分割方法存在的数据冗余和计算冗余问题,本研究提出了以图像瓦片索引奇偶划分为基础的边界对象单向传输方案,克服了数据混洗过程产生的数据冗余问题;建立了以偶数瓦片边界对象共享及其在邻域扩充奇数瓦片再次生长为理论基础的边界不完整分割对象修复方法,解决了辅助信息集成图像分割方法运算过程中的计算冗余问题。使用超像素算法在多个大尺度研究区验证,结果表明邻域区域先验图像分割方法比辅助信息集成图像分割方法更高效。(4)利用聚类思想的Apache Spark分区方法研究。针对(1)、(2)和(3)实验中所用Hash分区方法存在的数据倾斜问题,本研究通过将图像瓦片视为没有光谱和纹理的图像像素把分区问题转化为均匀、紧凑聚类问题,利用图像布局等面积转换来规划分区种子点并进行图像瓦片聚类,生成了图像瓦片的初步分区;构建了垂直和水平方向相邻分区图像瓦片的动态调整方案,实现了分区之间图像瓦片的均匀划分。验证结果表明该分区方法解决了Hash分区方法存在的数据倾斜问题,同时使任务运行时间和并行度之间实现近似单调线性关系。本文针对面向对象的图像分割算法直接移植到分布式平台所出现的精度和效率问题开展了一系列研究。实验结果表明本文所提分布式图像分割方法均可以解决图像瓦片边界存在的不完整分割对象问题,邻域区域先验图像分割方法还解决了重复计算和辅助信息集成图像分割方法存在的数据冗余和计算冗余等问题。本文所提分区方法解决了Hash分区方法存在的数据倾斜问题。希望本文可为面向对象的图像分割算法在Apache Spark分布式环境下高效运行提供研究基础。
其他文献
近年来,国内外发展了多种类型的星载偏振传感器,实现这类传感器高精度在轨探测的基础是可靠的辐射和偏振定标。我国研制的多角度偏振成像仪(DPC)是目前唯一在轨的星载多角度偏振探测仪器,由于技术难度无法配备星上定标器,亟需发展在轨替代定标方法对DPC数据进行高精度定标。基于以上研究背景和目标,本研究发展了基于海洋场景瑞利散射、海洋场景太阳耀光和沙漠场景交叉定标的辐射和偏振定标方法,在系统化的理论精度分析
学位
新一轮探月计划的兴起,推动月球探测和科学研究工作的逐步深入,为了满足科学研究与工程论证研究的需求,有必要建立空间基准统一的数字月球系统对海量、多源、多尺度、多模态的月球探测数据进行集成、管理、展示和分析,对全月三维场景进行全方位的模拟构建,最终实现对月球准确地数字化描述与表达,在超越时空限制的基础上,更好地去认识、了解、开发和利用月球资源。基于此,本文开展了空间基准统一的数字月球系统的关键技术与应
学位
近岸/内陆水域虽然在地球表面的占比不大,但是却承载着人类重要的生产生活,其生态环境的变化对社会经济发展与全球气候都十分重要。卫星遥感由于在时间、空间上的优势,已经成为对地观测的重要手段。但是因为该区域中大气与水体辐射传输具有耦合性,大气与水体光学成分复杂,地区差异性极大,该区域的定量化遥感研究广度与深度仍存在一定的限制。针对该问题,本研究提出了一种基于多角度遥感传感器的近岸/内陆水域二向反射分布函
学位
中国西南山区是滑坡等地质灾害的高发区。地方政府已进行了多轮地质灾害排查,但据统计,70%以上造成严重损失的滑坡灾害仍不在已排查出的隐患点处。原因之一是西南山区地形多变,高山峡谷遍布,植被覆盖度高,滑源区地处高位且隐蔽性强,传统的人工识别方式难以有效的识别滑坡隐患体。近年来,“空-天-地”一体化的“三查”体系的提出,实现了滑坡隐患的早期识别和预警预报的系统化和科学化。“普查”作为“三查”体系的基础,
学位
月球/火星探测器着陆前在约十千米高度开始获取下降序列影像,这些下降序列影像的摄影基线与主光轴方向接近,影像空间分辨率逐渐变高。本文以嫦娥四号下降序列影像和天问一号下降序列影像为数据基础,提出一种基于下降序列影像进行着陆区地形重建的方法,并分别从陨石坑和沙丘等特征地貌提取、下降序列影像与底图粗配准、相机位姿解算、基于核线的下降序列影像的匹配、光束法整体平差地形重建等方面进行详细说明。本文的主要研究内
学位
在传统社会中,法律的合法性建立在传统、习俗、宗教等的基础之上,在现代社会中,这些传统的法律合法性资源式微,法律的合法性面临无所归依的境地。以近代自然法理论为代表的理想主义法律观侧重于阐发法律的规范有效性,将法的合法性建筑到人的理性和良知的基础上,但对法律的事实有效性语焉不详;以法律怀疑论和法律实证论为代表的现实主义法律观则侧重于阐发法律的事实有效性,甚至认为法律在现代失去了规范有效性,而只具有事实
学位
高分辨率遥感图像组合目标检测已成为遥感大数据信息提取的研究热点之一,同时也是遥感图像智能分析的难点之一。组合目标具有特征变化多样、内部结构复杂等特点,因此,组合目标检测面临特征描述困难、检测精度不高、训练样本缺乏等一系列问题。通用的深度学习方法已无法很好地完成遥感图像组合目标检测任务。本文深入分析了遥感图像典型组合目标特征,结合深度学习技术,提出了基于国产高分数据的组合目标智能提取方法,并面向迁移
学位
气候变化和人类活动影响下,全球水循环发生变异,极端降水、干旱和洪涝灾害发生的频率和强度不断升级,加之人口增加和城市扩张,社会水资源系统面临巨大压力,水与粮食和能源等领域的矛盾日益凸显,并衍生出许多资源环境类安全问题,业已成为制约经济社会可持续发展的瓶颈。作为全球气候变化最为显著的区域之一,跨国黑龙江流域的中国部分是我国的粮食主产区,深入研究全球变化对黑龙江流域生态水文的影响对流域内水资源管理调控具
学位
天山构造带地处印度-欧亚新生代碰撞挤压构造带内部,其活动构造发育、地震活动频发,6级以上的强震事件大多发生在天山南北山前的前陆逆冲挤压构造带内。二十世纪初,我国新疆天山境内发生过两次里氏8级左右大地震,其中1902年8月22日发生于西南天山山前阿图什一带的Mw 7.7阿图什大地震(以下简称“阿图什地震”)是一次影响范围广、人员伤亡多、经济损失大的特大地震。由于此次大地震发生在人迹罕至的南疆偏远地区
学位
本论文以美国汉学界的中国文学通史编撰为研究对象,考察从20世纪60年代至21世纪初美国汉学界中国文学通史编撰的变迁。美国汉学界的中国文学通史编撰在不同阶段有何异同?受到哪些因素的影响?体现出哪些特征?论文从其编撰发生的语境、编撰实践、编撰理念等三个方面讨论了美国汉学界中国文学通史编撰的发展历程。最后,论文运用世界文学理论,通过个案研究来进一步说明以上论述的问题,进而探讨世界文学时代中国文学史的撰写
学位