陆地碳循环模型的分布式并行运行方法研究

来源 :南京师范大学 | 被引量 : 0次 | 上传用户:zhao330300096
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近年来全球变暖、温室效应等问题的日益严重,探索气候变化机理、预测气候变化趋势成为了学界重点研究的方向。陆地碳循环模型以陆地生态系统为对象进行碳循环过程的模拟与计算,在探究圈层间碳循环机理,预测未来气候变化等方面发挥着不可替代的作用。然而,随着陆地碳循环模型的持续发展,模型的计算过程越来越复杂,传统的单机运算方式难以满足模型所需的高计算能力。为了解决模型运行问题,目前研究者普遍采用模型内部硬编码方式和基于MPI并行标准的方式来实现模型的并行化计算。然而这些模型并行计算方法所依赖的并行化工作量大,计算资源要求较高,难以形成一套易用的、可配置的模型并行运行解决方案。现今在并行计算的实现方案中,云计算等利用网络闲置计算资源进行并行计算的分布式网络环境下的计算方式正逐步发展,能够为复杂模型计算提供大量计算能力,降低并行计算门槛。本文以陆地碳循环模型的并行运行为研究目标,从模型并行运行中的两个关键要素:模型并行计算与模型集群部署出发,基于分布式网络环境下的并行技术,设计了陆地碳循环模型的分布式并行计算方法与集群部署方法。在分布式并行计算方面,针对模型的数据存储与并行计算的需求,设计了模型的分布式数据存储方案与并行计算方案;在分布式部署方面,针对模型部署困难、集群间通信方式不一的问题,设计了模型并行集群的虚拟化部署方案和模型并行集群间的通信方案。本文的研究内容与主要成果如下:(1)陆地碳循环模型的分布式并行计算方法。不同于传统的模型集群并行计算方式,本文基于云计算的跨集群计算方式,充分利用网络计算资源,降低并行计算资源门槛。针对模型分布式计算中模型数据存储与模型并行计算两个关键难点,设计了模型的分布式数据存储方案与模型的分布式并行计算方案。在数据存储方面,基于模型数据特征设计了多源数据的标准化方案,基于HDFS分布式存储框架设计了模型数据的分布式存储策略,为提高模型数据的存取效率提出了相应的优化方案。在计算方面,基于模型的计算特征提出了面向并行的模型计算任务分割方法,基于Spark分布式并行框架设计了模型的分布式并行计算策略,并对模型的并行性能与资源调度策略进行了优化。(2)陆地碳循环模型的分布式集群部署方法。针对模型集群部署中模型环境和集群并行环境复杂、部署难度大、分布式集群并行通信困难的问题,设计了模型集群的虚拟化部署方案与模型集群的通信交互方案。在虚拟化方面,基于Docker虚拟化部署技术,设计了模型运行环境与集群并行环境的自动化构建方案。在通信方面,为了解决虚拟模型容器间通信与分布式集群间通信问题,设计了基于虚拟网络的容器间通信方案与基于调度器与执行器的分布式并行集群间通信方案,实现模型在分布式环境中的快速部署与稳定通信。本文从模型在并行运行中的计算与部署角度出发,探究了模型的分布式计算方法与分布式部署方法。在计算方面,设计了模型的分布式数据存储方案与分布式并行计算方案;在部署方面,设计了模型的部署虚拟化方案与通信方案。解决了模型分布式并行运行的关键难点,为模型在分布式环境中的并行计算与集群部署提供了一套完整的解决方案。
其他文献
传统润滑剂大多含有磷、硫、氯等有害元素,其广泛使用受到限制,且难以满足日益苛刻的工作条件,因此制备新的更有效的绿色润滑剂已提上日程。离子液体(Ionic Liquids,ILs)是一类热稳定性较好、不易燃、高极性液体,不易挥发,它在润滑领域展现出极好的润滑性能,但是存在合成过程繁琐、毒性不明、价格昂贵、产率低等弊端,不利于工业化大规模的生产,因此,合成简单、低成本、低毒性还能生物降解的低共熔溶剂(
青海省民和县官亭盆地的喇家遗址,因其距今四千年左右的巨大史前灾难场景,一经发掘便引起了广大学者的关注。吴庆龙等提出造成喇家聚落坍塌的古地震同时诱发了积石峡山体滑坡,堵塞黄河形成堰塞湖,堰塞湖在蓄水数月(一年之内)后发生溃决形成的特大洪水进一步扫荡了喇家遗址所在的黄河二级阶地。这一观点的主要依据是一套溃决洪水沉积物,这套沉积物分布在积石峡出口祁公滩一带以及官亭盆地,在喇家遗址内覆盖在石灰地面上,其中
由于MCM-41的稳定孔道、可控孔径等优异性能,成为了吸附领域的热点,但是也因为存在孔径小离子进入孔道不容易等缺点,因而对MCM-41进行改性,将其应用在吸附、催化领域有着显著的成效。本文在常温下采用水热法合成介孔分子筛MCM-41,并添加不同量的1,3,5-三甲苯作为辅助剂,合成出一系列的扩孔MCM-41。并对一系列MCM-41进行分析,探究不同量的扩孔剂对MCM-41的影响。在选出最佳比的MC
研究背景与目的颅内感染是癫痫发作和获得性癫痫的重要原因,病毒性脑炎(Viral Encephalitis,VE)作为颅内感染之一,严重危害儿童健康。VE急性期癫痫发作及迟发性癫痫机制目前
研究目的溶质载体蛋白15家族成员3(solute carrier family 15 member 3,SLC15A3)是一种膜转运蛋白,以往的研究大多围绕其转运功能展开,而关于其在抗病毒天然免疫反应方面的研
研究目的:本研究通过开展使用保留灌肠法治疗肛窦炎的随机对照研究,对比加味五味消毒饮和复方黄柏液治疗热毒蕴结型肛窦炎的疗效差异,探索加味五味消毒饮保留灌肠疗法是否具
特提斯-喜马拉雅构造域,因其独特而复杂的地壳结构吸引了全世界地学工作者的关注。作为中生代末期以来最重要的地质构造事件之一,欧亚板块与印度板块的碰撞事件,对该区域的构造环境产生的重大影响,导致了喜马拉雅和青藏高原的抬升,两大板块在碰撞拼合过程中,因海水没有完全退出,在藏南地区存在一个残留海盆。通过对残留海盆的研究可为限定碰撞时间提供有力信息。藏南亚东地区出露的遮普惹组地层,是该地区保存最年轻的海相沉
水是生命之源,是动植物赖以生存和发展的基础。一直以来,地下水作为重要的供水资源受到过采、污染等问题困扰,导致地下水位降落、地面沉降、淡水咸化等一系列环境地质问题频发。地下水位长期监测是了解地下水开发利用现状,进行水资源可持续发展规划的重要依据。地下水监测水位数据作为典型的时空序列数据,具有非线性、不稳定性、强时空相关性等特点,是地下水动态分析、地下水位模拟、水文地质三维建模等工作的基础。然而,由于
翼伞由于其优良的操纵性能,其精确空投技术已经在军事、救援救灾、民用等领域得到越来越多的应用。翼伞精确空投技术理论研究成果运用到实际翼伞空投的过程中,由于实际翼伞的
Bump进气道作为先进超声速战机常用的一种进气形式,当其运行时,结尾激波不可避免会和鼓包面上的边界层相互干扰,形成复杂的三维激波/曲面边界层干扰流动。本文通过仿真和实验