考虑负载平衡的科学工作流容错聚类算法研究

来源 :兰州理工大学 | 被引量 : 0次 | 上传用户:edison2920
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算的快速发展,云资源的虚拟技术以及动态扩展性等特性吸引了大量应用程序在云环境中部署执行。现代科学研究通常需要对多领域、多学科的海量数据进行分析和计算。科学工作流由于计算密集性和数据密集性的特点往往被部署在云环境中执行。工作流调度问题在多处理器系统和网格系统中已经进行了深入的研究,但是在云环境中如何高效调度工作流仍然存在一定的挑战性。对现有的调度算法进行分类和对比,可以发现成本(资源占用和时间消耗)预算占据大部分,而关于安全容错,能源消耗,负载平衡等问题的解决策略研究较少,为了生成有效的资源调度方案,应该考虑这些目标。针对现有调度算法的不足,本文从科学工作流负载平衡角度入手,研究了导致负载不平衡的各项因素。针对负载不平衡问题,从运行时间和依赖关系两个方面进行研究,提出了两种考虑负载平衡的容错聚类算法。本文的研究内容具体如下:(1)科学工作流执行过程中,多个任务组成的聚类作业相对单任务面临更高的故障风险。容错聚类算法可以有效进行故障恢复,但仍面临着负载不平衡问题,结合水平运行时间平衡和失败任务重试技术提出了一种运行时间平衡容错聚类算法(Runtime Balanced Fault-tolerant clustering algorithm,RBF)在解决负载不平衡问题的同时可以进行故障恢复。(2)研究负载不平衡问题时发现,水平运行时间聚类可能会导致或加重科学工作流依赖关系不平衡问题。为了定量的描述依赖关系不平衡问题,引入了不平衡问题衡量指标:影响因子方差(Impact Factor Variance,IFV)和距离方差(Distance Variance,DV)。根据各个任务之间影响因子的比率可以确定DAG(Directed Acyclic Graph)模型中的关键任务,即某一任务与较多的任务之间存在依赖关系,当该任务运行失败时,会对与该任务有依赖关系的所有任务造成影响。因此,提出了一种关键任务复制算法,以增强科学工作流可靠性。(3)针对科学工作流依赖关系不平衡问题,结合关键任务复制算法,本文提出了一种依赖关系平衡容错聚类算法(Dependency Balance Fault-tolerant Clustering Algorithm,DBF)。将影响因子方差(IFV)相近的任务进行聚类,可以解决依赖不平衡问题,通过关键任务复制技术,可以有效恢复运行失败的任务,减少故障带来的损失。
其他文献
目的:通过本次临床研究,观察真武汤合五苓散加减治疗肺胀(阳虚水泛证)的临床疗效,以证实温法治疗肺胀的有效性,从而指导临床实践。方法:将符合本次试验标准的60例患者随机分成实验组和对照组,每组30例。两组患者均采用常规西医诊疗方案,实验组在常规西医治疗的基础上另给予真武汤合五苓散加减治疗,2周后进行统计分析。结果:统计分析发现,两组患者治疗后在中医症状、m MRC评分、CAT评分以及6分钟步行试验评
随着社会经济的繁荣发展和科学技术的快速进步,化石燃料在推动世界文明前进的同时,也带来了其储量减少、环境污染等不可避免问题。作为替代能源解决方案之一的生物质燃料乙醇
研究背景:人脑胶质瘤是成年人中发病率最高、预后不良的原发性脑肿瘤,由世界卫生组织(World Health Organization,WHO)分级的Ⅰ-Ⅳ级不同恶性程度的脑肿瘤组成。弥漫性胶质瘤因其丰富的新生血管和浸润性生长的特性,导致肿瘤复发,严重威胁着人类的生命健康。尤其是恶性程度最高的胶质母细胞瘤,预后极差,患者的平均中位生存期仅为14.8月,5年生存率不到3%。胶质瘤起源于中枢神经系统的胶
番茄是我国农业生产中重要的经济作物,但其在生长过程中经常遭受各种不利环境的威胁,给农业生产造成重大经济损失。随着生物技术的发展,通过基因工程手段提高植物的抗逆性已成为十分可行的方法,而此技术的关键在于对抗逆基因的挖掘与研究。本研究首次从番茄中克隆得到SlR1-A-like基因,成功构建了过表达载体,并获得转基因本氏烟草植株,对转基因植株在冷胁迫及致病疫霉侵染过程中所发挥的作用进行探究,具体研究结果
“安塞新农民画根植于古老的民间文化沃土之中,蕴涵着丰富的传统审美思想文化。”[1]中学美术教育是人类美育可持续发展的重要桥梁,中学生则是未来文化传承的关键,因此,将安塞民间绘画艺术应用于陕北地区初中美术教育之中,是传承优秀民间艺术的必然选择。目前,安塞民间绘画只盛行于陕北安塞区,并且在政府的重视下,已走进中学。据笔者了解,安塞民间绘画在当地初中并没有得到相关机构的重视、也未完全予以实施。“安塞农民
随着中国经济的高速发展,传统的成本预算管理模式也受到了挑战。为了满足企业发展的需要,在提高业务完成质量的同时,找到与企业相适合的预算管理方法也显得至关重要。基于此,对HG公司牵引供电成本构建作业预算管理体系,有利于实现成本控制以及改善公司资源的利用情况,为公司日后的经营管理提供了一种新的思路,这将会大大提升牵引供电业务水平以及提高HG公司的综合竞争力。首先,论文对国内外作业成本法以及作业预算管理的
目前,学科问题教学已经成为研究的热点,数学问题解决是数学教学过程中必不可少的重要环节之一,而代数问题又是数学问题的一个重要类型。良好地运用代数问题多元表征是理解题意的第一步,也是解决代数问题的第一步,在此基础之上以自身认知结构里的知识背景构建某种理解来呈现代数问题、刻画代数问题、简化代数问题从而进一步构思出解决思路以及方案。与此同时,在整个理解题意过程中同样也需要元认知发挥认知、监控和调节的功能,
无线传感器网络(Wireless Sensor Networks,WSN)应用范围遍及各个领域,WSN最早被美国军方关注研究,其主要用于采集观察者所需要的信息,在恶劣的环境中,人类无法亲自采集信息,
公路是人类生活和社会发展中最重要的物质和能量通道。公路网的扩大带来巨大经济和社会效益之外也加剧资源、环境和人口之间的矛盾且一直被忽视。公路网络的发展影响着公路沿线景观类型分布和土地利用类型的变化,对生态过程有直接或间接的影响,如生态服务价值下降、景观破碎化、生态链受阻、生境质量下降等,公路建设对环境和生态的累积效应影响日益严重。本文以福州市为研究区域,通过遥感影像获取2000年、2010年和201
氯化石蜡(chlorinated paraffins,CPs)是一类含10-30个碳原子,氯取代质量分数为30%-70%的氯化正烷烃混合物,按碳链长度可分为短链氯化石蜡(C10-13,short-chain chlorinated paraffins,SCCPs)、中链氯化石蜡(C 14-17,medium-chain chlorinated paraffins,MCCPs)和长链氯化石蜡(C1