云环境下截止期约束的科学工作流优化调度算法研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:sueprding
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,Iaa S(Infrastructure-as-a-Service)云计算平台在为松散耦合的科学应用(如科学工作流)构建灵活、高效和低成本的运行环境方面显示出巨大潜力。一方面,当Iaa S云提供虚拟资源时,用户可以根据特定应用程序的要求定制执行环境;另一方面,与传统的高性能集群相比,用户可以按需租赁各种类型的云资源,在资源配置灵活性上具有更大的优势。此外,Iaa S云平台按使用量计费的模式允许用户获取“无限”的资源,极大地降低了高性能科学计算的门槛。Iaa S云计算资源按需获取、按需定制和按使用量付费的特征,吸引着越来越多的科学家将科学工作流部署到云环境下。尽管当前Iaa S云计算为科学工作流的执行提供了众多优势,但科学工作流在Iaa S云环境上的高效执行仍然面临资源供给与任务调度难以协同的问题。尤其是当科学工作流的执行具有截止期约束时,为了满足科学工作流的时效性要求,调度算法往往过度配置资源,导致Iaa S云资源利用不充分,造成科学工作流执行费用偏高等问题。为此,本文针对截止期约束的科学工作流费用优化问题提出两个调度算法,以实现云环境下截止期约束的科学工作流执行费用最小化。本文首先在传统启发式算法基础上,提出截止期约束的科学工作流调度算法DCWS(Deadline-Constrained Workflow Scheduling)算法。该算法采用三方面的策略在满足工作流完成时间约束下,对执行费用进行优化。一是,DCWS在计算工作流任务优先级时,将任务之间的通信开销、大量并行任务放置在一起可能带来的负面影响等因素考虑进来,以此避免传统调度算法中并行任务因为具有相同的优先级而大量聚集在一起的问题。其次,DCSW算法在实际调度时,通过任务回填和截止期约束违背惩罚机制来提高资源利用率,并在前序任务延迟的情况下对后续任务进行加速,以确保工作流的整体截止期得到满足。第三,DCSW算法通过实例类型升级策略,在不提高工作流执行费用的情况下,减小工作流的执行时间;同时引入实例降级策略,在满足工作流截止期约束的情况下,通过实例降级,降低科学流的执行费用。实验结果表明,DCWS算法能够在满足工作流截止期约束的情况下,生成比现有调度算法成本更低的调度方案。第二,本文在DCWS算法基础上,提出一种基于竞价型实例的截止期约束科学工作流费用优化算法。竞价型实例是云资源提供商为了吸引用户使用云计算资源,提高资源利用率,而引入的一种基于竞价拍卖的实例类型。竞价型实例相对于按需型实例,在费用上具有很大的优势,能够帮助用户以非常低的费用运行大规模计算任务。尽管如此,竞价型实例可能在任意时刻被云提供商回收,存在执行时间不确定的问题,对科学工作流这种任务之间依赖关系很强的应用具有较大影响。为此,本文提出一种分段优化策略,通过在科学工作流的不同执行阶段使用不同竞价规则,利用竞价型实例工作流的稳定调度。特别地,该算法首先将部署在同一实例上的工作流任务集合按照实例计费区间进行分段;然后将关键路径任务分配到可靠性较高的按需实例上,并对于细粒度任务集合和低利用率分段使用竞价型实例调度。在竞价型实例调度中,该算法引入一种“投机”的竞价手段,通过极端竞价,为小任务获得免费的实例执行时间。实验结果表明,在现有算法的基础上,基于竞价型实例的分段优化策略能够在满足工作流截止期约束情况下,实现执行费用的进一步优化。
其他文献
近年来,各类社交网络不断发展,它为人们复制了现实社会关系,拓展了人际交往范围,带来了丰富的娱乐体验,被普遍应用在工作和生活的方方面面。我们越来越倾向于在社交网络上享受各种服务,然而随之出现的各类数据泄露事件却让我们对个人隐私感到忧虑。本文研究分析了社交网络中的隐私保护机,对以下几个方面进行改进:(1)结合IPFS文件系统,对社交网络数据进行去中心化存储。现在服务商使用中心服务器管理社交网络的运行,
优化问题伴随着管理决策科学不断发展。一些经典的最优化理论开创了优化理论研究的先河,科学地描绘了最优解的特征。但是,直到有了计算机,人们才能够对各类较大规模的优化问题利用计算机实施求解,从而使对最优化问题的求解成为在实际生活中进行决策、管理中的有效工具。而随着计算机体系结构和各种新型架构的发展,各种异构体系结构产生的运算能力越来越强。如何利用巨大的算力、利用并行加速技术,有效提升优化问题的求解性能,
随着移动互联网的普及与发展,移动应用程序的规模快速增长。如何高效、准确地识别移动应用的流量,对于网络运营商、网络安全服务提供商具有重要的意义,这是研究差异性服务、流量控制、入侵检测、恶意应用识别以及用户行为分析的前提和基础。由于移动应用的开放性以及数据来源的关联性和多样性,对移动应用网络流量的识别十分具有挑战性。为了能够有效识别移动应用网络流量,必须获取移动应用流量中存在的有别于其他应用的细粒度特
在可靠性工程中,产品剩余寿命预测研究意义重大。卫星平台作为典型的高可靠性、长寿命、小子样的复杂系统,传统的基于大样本失效数据进行剩余寿命预测的方法不再适用。另一方面,随着数据收集技术的发展,可以搜集到卫星平台的多源可靠性数据,如历史寿命数据、相似产品寿命数据、性能退化数据以及专家数据等。本文基于贝叶斯理论,提出融合多源信息进行卫星平台剩余寿命预测的方法,该方法通过充分利用多源可靠性数据,提高了卫星
随着互联网的高速发展,网络服务和应用已经融入到社会的各个方面。然而网络入侵与破坏事件层出不穷,网络安全不仅是每一位网络用户关心的话题,甚至已经成为国家战略的新型力量支撑。面对日益严峻的网络环境,网络入侵检测技术备受关注。入侵检测的一个重要方法是识别攻击代码,Shellcode就是其中主要的一种,常被用于在漏洞利用中执行恶意功能,缓冲区溢出漏洞则是典型场景之一。到目前为止,已有多种用于检测Shell
你喜欢吃小龙虾吗?在中国,小龙虾称得上是美食界的"明星大咖"。十三香、麻辣、蒜蓉、清蒸、油焖,每一种口味都深得"吃货"的心。《中国小龙虾产业发展报告(2021)》指出,2020年我国小龙虾产业总产值超过3400亿元。但是你可能不知道,小龙虾有着两副面孔,除了是餐桌上的美食,它更是一种破坏性极强的外来入侵物种,鱼类、水生植物等都深受其害。而且,小龙虾打洞,给水库、湖泊、堤坝等也带来不小的风险。
期刊
地理空间信息的三维可视化一直是地理信息系统与应用的重要内容,近年来快速发展的倾斜摄影测量技术为获取大范围高精度地物实景三维模型提供了有效的手段。然而,倾斜摄影测量技术形成的三维模型本质上属于数字表面模型。通过无人机等航空平台生成的倾斜摄影测量数据只能建立城市建筑物外部的三维表面,而无法描述其内部的模型细节,导致了三维地理信息系统对于建筑物内部信息描述能力的缺失。建筑信息模型(BIM:Buildin
仿真优化的主要目标是优选系统解决方案,同时降低多方案优选过程中总的仿真执行次数,提高求解最优方案的效率。由于实际问题变得越来越复杂及其随机性的影响,仿真优化需要多次独立测试每个方案,才能挑选可信的最优方案,所以仿真优化需要高且不确定的计算能力。云计算为仿真优化提供了经济、高效且灵活的平台。但是当前仿真优化算法大多都是面向单用户任务,且缺乏可以在每个阶段并行执行的足够样本,无法充分利用云计算资源,无
社交网络服务的迅速发展,深刻地影响着人们的日常生活。社交平台中的海量用户构成了一个真实世界的网络映射,但目前对这一网络的很多现象和以及演化规律仍缺乏系统的认识。研究社交网络的演化可以帮助认清网络的形成机制,预测网络连接趋势。本文以社交网络为背景,从链路预测的角度出发,对社交网络的演化问题进行了研究。本文主要贡献如下:(1)从预测准确度、计算时间消耗、预测稳定性三个方面充分对比分析了当前常用的链路方
提高无人作战系统的自主性是无人作战系统发展的一种重要趋势,自主性在军事应用上具有诸多优势。目前,我军对无人装备研究较多,但对无人作战系统自主性方面的研究比较少。与其他军事强国特别是美国相比,无人系统在军事方面的应用研究仍需加强。本文针对军事应用背景下无人作战系统的自主性特性,提出无人作战系统自主性的内涵及其概念模型,分析无人作战系统的自主性,建立相关等级模型及评估方法,研究面向任务的无人作战系统自