混合云环境下资源调度与管理若干问题研究

来源 :北京邮电大学 | 被引量 : 3次 | 上传用户:zoeshuwen88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术的不断发展,越来越多的国内外公司推出各种云产品和云解决方案,越来越多的企业使用云计算技术部署系统,企业的云环境日益复杂。根据云资源提供者和使用者的关系可以分为私有云、公有云、混合云,用户可以选择使用多个云解决方案和公有云服务。部署在云上的应用内部任务的相互关系,可能相互独立,也可能是相互依赖,任务之间有数据传输的相互依赖关系的应用,也称为科学工作流。本文关注的混合云环境包括三个方面:运行在云平台上的异构QoS( Quality of Service,服务质量)和 SLA ( Service Level Agreement,服务等级协议)需求的任务或应用的混合;单个云内部资源性能异构、动态变化、节点失效等不确定性因素的混合;私有云和公有云等不同云平台的混合。分别针对相互独立的任务在单个私有云数据中心、单个科学工作流在单个或多个私有云平台、多个科学工作流在混合云平台、企业系统在多个混合云平台四种情况下,研究调度与管理问题。1)提出了基于混合预测的异构任务调度和管理方法MPHW(Multi-Prediction based scheduling for Heterogeneous Workloads) ,解决异构QoS和SLA需求混合的独立任务在单个私有云数据中心的调度与管理问题,保障高优先级任务的性能,同时提高了有效资源利用率。建立了异构任务的优先级模型,设计了离线训练的ARMA(Auto-Regressive and Moving Average, 自回 归移动平均) 模型和在线反馈的AR (Auto-Regressive,自回归)模型混合的负载预测算法,并提出了基于预测的动态资源预留和任务抢占的调度策略。仿真实验结果表明,相对于基于即时可用资源量的抢占式调度算法,使用基于混合预测和动态资源预留的异构任务调度算法,能够减少70%主机过负载和任务失败,减少超过50%的由失败任务造成的资源浪费,提高有效资源利用率超过65%。此外,对于低QoS、SLA任务来说,时间延迟也是可以接受的。2)提出了一种科学工作流在不可靠私有云上的动态调度算法DEFT (Dynamic Earliest-Finish-Time),减小了工作流完工时间,提高了调度的健壮性。DEFT根据运行期资源的计算和传输速度,进行实时单次调度,应对资源性能异构、动态变化、存在失效等不确定性因素。定义了新的调度健壮性衡量指标CV (Coefficient of Variations,变异系数),更准确衡量调度算法产生短的、平稳分布的完工时间的能力。实验表明,使用DEFT比现有的最优的基于任务列表的静态调度算法PEFT和动态调度算法DCP- G,工作流完工时间缩短超过20%,且健壮性更好。3)提出了一种数据密集型科学工作流在混合云上的动态调度算法HCOD (Hybrid Cloud Optimized Data),减小了云平台之间数据传输量,同时,降低了费用开销。设计了快速的双层禁忌搜索图划分算法DLTS(Double-Level Tabu Search),划分大型数据密集型科学工作流。将子工作流作为调度的最小单位,减小了调度在不同云平台的任务之间的数据传输量。仿真实验表明,本算法在降低费用开销、减小数据传输量等方面都有很好的表现。4)提出了一种规范化的系统混合云迁移的策略制定方法,引导企业逐步理顺目标约束、分析决策、制定云迁移方案。提出了循环演进的企业系统混合云迁移策略制定步骤,确保了迁移策略的可实现性。提出了层次化分析方法,为互斥的、不可量化的目标、约束、云服务提供了统一的分析比较方法。使用网络服务运营支撑系统作为用例,分析其云化需求和约束,制定云迁移方案,确定系统各个应用和功能模块应该使用何种云部署和迁移方式。本方法作为指导思想,应用在国内某电信运营商运营支撑系统云化项目的需求分析和设计阶段。
其他文献
近年来,课程审议一直是幼教界比较热门的话题。当各大幼儿园都在轰轰烈烈地开展课程审议的同时,我们是否应该静下心来重新思考:课程审议的最终目的到底是什么?毋庸置疑,课程审议,不应该只停留在形式上,也不仅仅是为了方便教师,它的最终目的一定是落在幼儿身上的,是为了寻找到幼儿适宜的课程。因此,在开展课程审议的过程中,怎样才能使课程更适合幼儿的年龄特点、生活经验、兴趣和发展需要呢?  第一,判断幼儿经验,从“
<正>当今世界环境与社会的危机层出不穷,人类在政治、医疗、教育、卫生以及经济等多个领域的基础,都遭受着危险与挫败。怎么办?来自美国麻省理工学院的资深讲师奥托·夏莫(O
自从有了汽车,人们就一直将"自动驾驶"设为终级目标。随着汽车技术的发展,人们向着这一终级目标不断迈进。其中,就着特斯拉自动驾驶的热度,一时间全球汽车业对智能驾驶(尤其是无
明代公案小说是晚明兴起的一个小说类型。它以清官决狱断案为主题,以状词、诉词和判词为叙事结构骨干。它是文学,同时又具有诉讼实用功能。公案小说来源于法家类“珥笔书”,
为满足数字海图协同处理智能化和可扩展的需求,根据"数字海洋"系统中数字海图的多源异构和分布式区域管理的特点,在计算Agent社会模型的基础上,构建一种基于多Agent的数字海图协同处理模型,分析模型的具体协作流程,并建立协同工作机制。仿真实验结果验证了该模型的有效性。
<正>在今年的热点与热词中,有一个与科技创新相关,那就是"自拍杆"。这个小小的、被赋予"神器"称谓的小物件,在两会的图片报道和视频影像中层出不穷,确实吸足了大家的眼球。追
针对地理大数据挖掘、知识发现和地理信息系统智能化的需求,以全息理论为基础,从全息思维视角出发,探索地理信息的多模式、多尺度、多形态、多时态和多主题等全息表达方法,拓
针对传统的遥感影像金字塔一体化存储模型在多用户并发访问应用中的存在的问题,提出一种适合多用户并发访问的可分离式存储模型,通过数据的分布存储和访问处理任务的分解、转移,提高数据服务器的I/O性能和响应效率。实验结果证明了该模型的有效性,且模型系统具有较高的可扩展性和稳定性。