面向对地观测大数据云服务的天地一体优化方法

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:qpowapian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面对不断提高的卫星成像分辨率以及快速增加的在轨卫星,天基对地观测卫星系统获取数据的速度和总量都呈爆炸式增长。据报道,我国在轨卫星每天获取的对地观测数据高达数百个TB,而且增长势头强劲,这意味着对地观测大数据时代已经来临。当前,用户对卫星对地观测数据服务提出新要求。在时间分辨率上,用户急需卫星对地观测数据在获取、传输、处理和分发整个流程中的响应趋向近实时化;在空间分辨率上,用户需要卫星图像的分辨率高达亚米级、甚至厘米级;且观测范围覆盖全球。特别是面向包括时敏目标、海上移动目标、抗震救灾等应用场景时,用户对卫星对地观测数据服务的时空分辨率提出更高要求。我国当前的对地观测卫星和通信卫星各成体系,管理隔离,对地观测数据服务的响应速度慢,资源利用率低,已难以满足动态高并发全球范围内高时空分辨率服务需求。为了提高卫星覆盖能力、缩短响应时间、提高体系协同能力,一种有效的途径是实现多星组网,并耦合卫星网络和地面云计算形成天地一体化平台。以对地观测数据直接服务用户为核心,打通由用户请求发起、卫星数据获取、传输、处理、情报提取与分发共享、直至用户应用的快速服务通道。在任务驱动下,协同组织和优化星地数据获取、传输、计算、存储、数据处理等资源,从而支撑近实时甚至实时的卫星对地观测数据服务。本文重点研究以下五个关键问题:对地观测数据获取环节的任务调度、数据传输环节的星间数据卸载优化、数据处理环节的实时调度、安全管理和不确定优化。通过解决以上关键问题,本文主要做了以下五点贡献:(1)提出面向卫星多目标调度的自适应演化方法针对卫星对地观测任务多目标调度问题,本文设计一个基于目标空间划分的自适应多目标演化算法,在保持种群多样性的同时加速种群的收敛速度,从而快速搜索一组高效解来平衡卫星对地观测任务调度中多个相互冲突目标。在其中,本文定义一个新的指标来度量多目标演化算法中每个子空间对种群收敛的贡献,并提出一个自适应策略,根据子空间对种群收敛的贡献,自适应地将计算资源分配给不同子空间。(2)提出面向卫星大数据卸载的自组织优化方法针对卫星网络资源受限、高动态星间拓扑以及对地观测数据产生的随机性和突发性,本文提出了一种自组织优化方法,用于卸载卫星网络中对地观测大数据,从而近实时地下传到地面站。具体而言,该方法中定义了卫星梯度来充分反映其可用资源与约束之间的关系,并设计一种新的策略来更新每颗卫星的邻域,以处理卫星拓扑的高动态性。在卫星梯度和邻域的基础上,本文提出一种基于双向选择的优化策略,该策略支持每颗卫星通过与相邻卫星交互来进行数据卸载决策。(3)提出云计算中面向对地观测大数据处理的实时调度方法对地观测大数据流不断到达地面站,并动态地提交到云计算进行实时或近实时处理。对地观测数据流的随机性与突发性严重挑战云计算资源的快速响应能力。为了解决以上问题,本文将对地观测大数据的处理过程建模为实时工作流,每个工作流对应一份数据的处理流程,并推导出两个推论来最小化一组工作流任务的完成时间和每个工作流任务的开始时间。然后,本文定义了工作流任务的最晚完成时间,并证明最晚完成时间有助于减少对地观测大数据处理成本而不延误其完成时间。在此基础上,本文提出一个基于任务复制的调度算法,以实时调度大数据流到云计算平台进行处理,最大限度地缩短云计算的响应时间和降低处理大数据流的成本。(4)提出云计算中面向对地观测大数据处理的安全感知调度方法数据加密是保障安全性敏感对地观测大数据的重要手段,但是,数据加密的时间开销将延迟大数据处理的完成时间和增加成本。为了解决以上问题,本文首先从理论上分析如何复制任务来缓解数据传输和加密开销对任务开始时间的延迟,并提出一种面向安全敏感工作流的调度方法,其中包含两个重要阶段:1)任务调度,利用资源的空闲时隙,有选择地复制部分前驱任务来改善任务的开始时间和资源利用;2)挖掘任务的松弛时间对中间数据进行加密,以缓解数据加密开销冲击任务开始时间和工作流完成时间。(5)提出云计算中面向对地观测大数据处理的不确定感知调度方法针对不确定因素严重冲击云计算平台处理对地观测大数据的性能,本文设计一个新颖的调度框架来控制每个服务实例上等待任务的数量,以阻止不确定性传播。基于这个框架,本文提出一个不确定感知的在线算法来调度带截止期的大数据处理工作流。该算法巧妙地整合了一个前摄性和一个反应式策略,在运行基准调度方案期间,动态调用算法中的反应式策略来生成能够处理不确定因素的前摄性调度方案。
其他文献
时空轨迹的相似度计算将轨迹间相似特征进行了量化,是上游相似查询和分析应用的基础,有效而稳定的相似性度量及其高效计算方法也是众多轨迹模式挖掘的必要前提。当前数据量爆炸式增长、数据形式愈发多样、时空语义信息更加丰富的轨迹数据现状对相似性分析和相似模式挖掘提出了更高要求,而传统研究一般将轨迹视作由点序列构成的线状对象,本质上仍是基于分立的空间点的计算与分析,不能有效把握轨迹数据时序性、多粒度性、位置不确
关联成像(Correlated Imaging)又叫鬼成像(Ghost Imaging),利用光场的二阶乃至高阶关联性质,间接重构出目标,是一种间接成像技术。不同于传统光学成像技术可以利用面阵探测器直接获取目标的图像,关联成像需要通过特定的重构算法计算出目标图像。在关联成像中,照明光被分为两路:信号光照射目标后被无空间分辨力的单像素探测器探测,参考光经自由传播后被面阵探测器探测,任一路都无法单独成
关联成像是一种基于光场高阶相干获取目标信息的成像技术。和传统成像相比,关联成像在诸多方面具有优势。首先,关联成像可实现无透镜成像,在一些透镜难以加工的波段内,如X光,关联成像可更容易地获取物体图像。其次,在关联成像系统中可以用点探测器获取二维或三维物体的图像,和普通的面阵探测器相比,点探测器灵敏度高,这使得关联成像可以在极弱光条件下成像。此外,点探测器读写速度快,也使得关联成像系统可以高速采集数据
多波段光电载荷融合成像具有几何和物理特性共同识别的功能,可有效提升目标识别率和识别效率,在光电成像技术领域发挥着不可替代的作用。传统多波段光电载荷一般选用多镜头分立组合的光学结构,存在系统体积大、图像实时处理能力弱等问题,难以满足对新型光电载荷集成化和灵巧化的需求。伴随着超精密加工技术的发展,多面共体光学元件的形、位高精度加工成为可能,光线可以在不同光学面间多次反射,形成折叠式光学成像系统,并有望
随着装备的快速发展、实战化的使用要求和保障模式的变革,对装备测试诊断提出了更高的要求和更大的挑战,测试模式的变革势在必需,装备测试性工程正是顺应这一变革的产物。当前,一般工程意义上的测试性设计已趋于完善,但针对复杂系统的测试性设计仍存在一些认识上的偏差和未解决的技术流程与关键技术问题,无法满足工程实践需要,如测试性设计中未考虑集成故障和系统级测试,系统级故障诊断隔离难等,为此本文在部委级预研项目的
以癌症为代表的复杂疾病严重威胁人类的生命健康,其形成包含复杂的分子间相互作用和调控过程。以患者临床表现出来的少数几种特征对疾病进行划分,然后对每一类辅以特定的治疗手段往往会在不同个体上有不同的反应,治疗效果难以预测。复杂疾病往往是由遗传因素、环境因素、生活习惯等多种因素之间相互作用导致的,并不遵循孟德尔遗传定律,因而家族病史和遗传相关信息只能说明个体存在患病的概率,但并不意味着就一定会患病,这些都
量子计算作为一种利用量子力学基本原理来完成计算任务的新兴技术,具有经典计算无法比拟的强大计算能力,一经提出就获得广泛关注。尤其在大数质因子分解与Grover搜索等量子算法提出之后,人们更加深刻的认识到量子计算或将为整个信息处理领域的演进与发展带来强劲动力。最近,许多国家颁布了关于量子计算研究的中长期发展规划,不断为该领域的技术实现与应用探索加码提速。作为一项应用广泛的信息技术,数据挖掘旨在从海量数
城市计算是计算机科学以城市为背景,跟城市规划、交通、能源、环境、经济和社会学融合的新兴交叉领域。城市计算的任务,是首先通过感知、获取城市中产生的各类大数据,然后采用高效的数据管理技术、先进的算法以及新颖的可视化技术来分析处理及展示大数据,用以解决城市中存在的诸多问题和挑战,如交通拥堵、空气污染、规划落后等。城市内产生的大数据多种多样,如人或车移动时产生的轨迹数据、各大媒体平台发布的新闻、股市里时刻
随着大数据时代的到来,网络空间的数据资源越来越丰富,其数据量已经远远超出了传统数据分析技术和信息系统的处理能力,寻求海量数据中的有效的信息已成为各领域的迫切需求。知识图谱以其语义网的本质,将客观世界存在的实体、关系、属性等概念以结构化知识的形式连接成庞大的网络,作为人类描述知识的重要载体,为大数据环境下的信息获取提供了便捷快速的解决方法。其中,人物实体作为信息交互的枢纽,往往在寻找目标知识的过程中
当今社会,无线通信为人们打开了俯瞰世界的视野,并逐步成为人们生活中密不可分的一部分。然而,随着社会的不断进步,无线通信的发展面临着诸多挑战。一方面,新兴概念如虚拟现实(virtual reality,VR)、物联网(Internet of things,Iot)、智能制造等的出现对无线通信的吞吐率、延迟、可靠性等方面均提出了新的更高要求。而另一方面,适合无线通信的频谱资源又非常有限。因此,增强对现