高光谱遥感矿产数据并行处理技术及平台研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:sunweidong123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
矿产资源是社会发展中重要的不可再生资源,高光谱遥感技术在勘测地物领域具有广泛的应用,对寻矿、成分分析等矿产工作有着极大的帮助。高光谱遥感数据具有信息量丰富、数据量大以及计算复杂等特点,常用的单机处理方式无法满足其计算需求,采用并行化的方式高效处理高光谱遥感数据是充分发掘矿产资源的关键问题。为提升高光谱遥感岩矿数据处理效率,本文主要研究内容如下:(1)设计了处理高光谱遥感数据的通用型高效计算框架(HRSEGF)。框架通过有向无环图形式表示待执行任务集合,对集合中的任务从子任务并行以及任务节点间并行两方面对矿产数据处理流程进行优化:子任务并行采用并行计算方式降低高光谱数据的处理时间;任务节点间的并行则采用合理的调度算法优化任务流程中的云计算资源分配策略,以更优策略利用云计算资源。(2)针对HRSEGF中子任务并行,构建了高光谱遥感矿产数据信息提取并行优化算法。算法包含高光谱数据降维、端元提取和光谱匹配步骤,从执行过程中的数据存储方式、矩阵计算方式、步骤间衔接方式等方面进行并行优化。通过在不同数据量、不同并行度下的实验验证,表明该并行优化算法在保证信息提取结果正确的基础上能明显提高任务执行效率。(3)为高效执行HRSEGF框架中的矿产任务集合,合理利用计算资源,提出了一种基于混合粒子群算法的高光谱矿产任务多目标调度算法。深入分析启发式算法寻优策略,为混合粒子群调度算法添加一种预生成搜索粒子策略,以及结合粒子群算法和人工鱼群算法设计混合粒子群的新型搜索方式。通过在不同数据集、不同并行度以及不同计算资源数量下的实验验证,混合粒子群算法在矿产任务调度领域能有效缩短任务执行时间、提高负载均衡并契合HRSEGF计算框架。(4)基于Hadoop+Spark+HRSEGF框架搭建实现了高光谱遥感矿产数据处理平台。该平台采用B/S架构,整体设计上采用松耦合的设计模式,具有良好的通用型和可扩展性。平台包含计算资源管理、算法管理以及构建任务流程等多个模块。用户可以按需选择高光谱遥感矿产数据的并行处理算法组件构建整体遥感数据处理DAG任务流程,并根据实际需求选择多种调度算法对执行过程进行优化。矿产数据处理平台满足良好的人机交互性,用户无需掌握Hadoop和Spark的相关知识就能实现高效处理高光谱遥感矿产数据。
其他文献
飞行自组网(Flying Ad Hoc Network,FANET)是由若干无人飞行器组成的特殊移动自组织网络,被广泛应用于有临时通信需求的场合中。由于FANET组网成本高、技术复杂,目前该领域的研究大多基于仿真,移动模型作为仿真实验的关键组成部分,影响着路由协议设计及其他算法性能评价的有效性和可靠性。然而,当前所提出的移动模型未考虑FANET节点的移动特征及节点之间的运动相关性,也未考虑到障碍物
本论文基于某视距无人机通信设备的任务需求,该通信设备工作在C波段,为了提高通信距离,地面接收天线采用定向天线,且波束宽度较窄,因此地面设备需要自动跟踪无人机。目前常用的自动跟踪方式包括:顺序波瓣法、圆锥扫描和单脉冲技术。其中顺序波瓣法和单脉冲属于等信号法,圆锥扫描法属于最大信号法。三者又以单脉冲跟踪方式跟踪精度最高,响应时间最短,为最常用的跟踪方式。本文研究了国内外无线电跟踪技术,从无人机测控系统
通过对肺内气体含量的空间分布进行定量显示,建立肺的通气模型,对肺癌的图像引导放射治疗具有重大意义和研究价值。肺器官的通气过程是肺内气体含量变化的过程,也是肺组织因气体含量变化产生形变运动的过程。图像配准技术能够通过建立图像间的空间对应实现对肺部呼吸运动形变的估计。因此,建立肺的通气模型关键在于图像配准。然而,由于肺器官是典型的运动器官,在呼吸过程中会发生复杂的、不同形式的形变,导致肺部图像配准十分
我国是用电大国,电网安全稳定的运行与国民经济的发展息息相关。电力线作为电网的主要组成部分,是电力系统和电网稳定安全运行的基础。我国长距离电力输送和短距离电力配送的电力线基本采用钢芯铝绞线,而钢芯铝绞线会在极端天气等影响下产生不同形式的故障,其中以异物附着和电力线断股最为常见。因此,定期对电力线进行巡检是保证电能稳定安全供给和保障国民经济的关键。现有的人工巡检方式很难满足我国庞大且复杂的输电网络维护
目前装配式混凝土结构采用“等同现浇”的思想进行设计,但实际上装配式节点的整体性较现浇节点差,预制混凝土与后浇混凝土之间存在新旧混凝土结合面,在较长的服役时间内混凝土及钢筋等材料的力学性能将发生退化,这些因素都将影响装配式节点的抗震性能,导致装配式节点抗震性能随着服役期的延长而退化的状况相较于现浇节点更加明显。本文通过装配整体式剪力墙结构连接节点缩尺试件的动力加载试验及利用ANSYS有限元软件对节点
反激变换器由于其体积小、结构简单、成本低而广泛应用于中小功率场合,隔离型有源钳位反激变换器能提高变换器开关频率,具有高功率、小体积及安全可靠的特性,在手机快充、笔记本电脑等恒流场合得到了较多应用。当前隔离型有源钳位反激变换器采用光耦反馈电路,因此无法避免光耦的非线性、老化、温度漂移及工作温度范围有限等问题。原边反馈控制方式可以移除光耦,然而由于变换器寄生、非线性及单一控制方式的影响,当前隔离型原边
高分辨率医学图像可以为医生提供更丰富的病理信息,提高诊断的可靠性。核磁共振成像(MRI)是临床上常用的成像技术,当前,获得较高分辨率的MRI图像一般有两种途径:延长扫描时间和使用更精密的仪器,然而,延长扫描时间要求病人长时间保持静止,因此并不适用,而使用更精密的仪器显然导致成像成本增加。图像超分辨重建能够利用图像处理方法将已有的低分辨率图像转换成高分辨率图像,因此,在提高MRI图像质量方面更具应用
电流传感技术在电力系统中的在线监测、继电保护、电力检修、智能设备控制等领域均发挥着极为重要的作用。随着智能电网的快速发展以及电子设备健康监测概念的提出,急需通过先进的传感和测量技术为其控制决策提供信息支撑。本文采用磁致伸缩材料与音叉谐振器复合结构的谐振式磁传感器,设计了谐振式电流传感器,具有体积小、功耗低、灵敏度高等优点,且可以用于交直流电流的测量。通过理论分析、有限元仿真和实验测试对所设计的谐振
随着水下兵器的发展,针对水下弹道测试系统的需求越来越多。水介质的密度远远高于空气的密度。弹丸在水中经历滚转、偏航、俯仰以及变速等多种复杂过程,准确测量弹丸运动过程中的姿态,对于水下弹丸运动特性测试有重要意义。针对水介质对弹丸测试的成像环境,利用脉冲激光及高分辨率数字成像技术,拍摄水下弹丸的实像,依据相机成像坐标系转换与相机标定方法,根据拍摄视场与相机选取的分辨率,以及通过弹丸速度及激光器闪光脉宽产
当前互联网发展迅速,网络流量激增,人们对网络信息安全和数据保护提出了更高的要求,加密技术应运而生并且日益普及。然而,越来越多的网络攻击和恶意软件采用加密技术来隐藏自己的非法行为,传统的明文流量检测技术面对迷惑度更高的加密流量束手无策。加密的影响不仅体现在安全领域,还体现在服务质量和网络管理等方面,因此网络监管部门对加密流量识别的重视程度大幅上升。现有工业界的加密流量识别方法往往依赖于专家经验,耗费