【摘 要】
:
云计算作为二十一世纪初期的新兴事物,目前已步入较为成熟的发展阶段,其依托于虚拟化技术,将各类资源进行有效整合和管理,向用户提供了高效的计算服务和应用软件。近年来,图像处理、地震预测、基因组测序等应用程序生成的工作流日渐复杂,使得越来越多的工作流被提交到云中处理。为了满足各类场景下不同用户的计算要求,国内外云服务提供商纷纷升级扩展云数据中心,但是目前数据中心的资源利用率较低,使得高能耗问题成为云服务
【基金项目】
:
北京市教育委员会科技重大项目(KJZD20191000402);
论文部分内容阅读
云计算作为二十一世纪初期的新兴事物,目前已步入较为成熟的发展阶段,其依托于虚拟化技术,将各类资源进行有效整合和管理,向用户提供了高效的计算服务和应用软件。近年来,图像处理、地震预测、基因组测序等应用程序生成的工作流日渐复杂,使得越来越多的工作流被提交到云中处理。为了满足各类场景下不同用户的计算要求,国内外云服务提供商纷纷升级扩展云数据中心,但是目前数据中心的资源利用率较低,使得高能耗问题成为云服务提供商当前亟需解决的关键问题。高效合理的工作流节能调度机制是解决此类问题行之有效的方法,对云资源调度研究具有重要的现实意义。本文对数据中心节能技术、描述工作流的表示模型以及工作流调度算法进行了系统地研究,分析了现有工作中存在的问题与难点。考虑到云计算的发展现状,针对工作流的节能调度问题,展开基于超图的工作流建模与划分研究,以及面向多目标的工作流调度研究,在满足用户服务质量的同时,降低云数据中心的能源消耗,具体贡献如下:(1)基于超图的工作流建模与划分研究。准确的工作流描述模型是得出优秀调度算法的关键前提,本文基于有向超图建立了全新的工作流表示模型,重点聚焦执行工作流时的数据传输过程以及工作流处理过程中复杂的数据依赖关系,将依赖同一数据文件的任务采用一条有向超边连接,克服了有向无环图只能反映一对一关系的弊端;在此基础上,提出了基于有向超图的工作流节能划分机制(Directed Hypergraph based Energy-Saving Workflow Partitioning Strategy,HPWS),通过超图粗化、超图划分、分区调度三个阶段把工作流划分为最少分区并分配到主机上。实验结果表明,HPWS机制可以开启最少的主机执行工作流,从而减少云数据中心的能耗。(2)面向多目标的工作流调度研究。利用HPWS将工作流分配到合适的服务器后,为进一步减少任务完成时间,同时降低数据中心能耗,本文研究省时节能的多目标工作流调度策略。考虑到任务间依赖关系对调度结果的影响,采用最早完成时间和影响因子共同确定任务的优先级,并比较具有相同优先级任务调度至虚拟机的时间损失,提出时间损失最少的依赖任务调度算法(Least Time Loss based Dependent Task Scheduling Algorithm,LLTS),完成任务与其分配主机上虚拟机之间的调度。实验结果表明,LLTS可进一步缩短工作流完成时间,降低能耗,特别是针对并行任务数较多的工作流,LLTS的优化最为明显。
其他文献
随着物联网技术和产业的飞速发展,催生了许多新兴的物联网应用场景,例如水下环境的信息监测、野生动物信息采集、山区道路危险预警等。现有的无线通信网络在缺少基础设施的场景下很难有效运行,而机会网络利用网络节点之间的相遇机会进行数据传输,无需基础设施,可以更好的适应这些新兴应用场景。由于无线网络节点之间搭建的临时通信网络是高度动态且部分连通的,节点之间可能不存在完整的连接路径。机会网络采用“存储-携带-转
得益于弹性按需的服务模式和允许网络广泛访问的特性,云服务在互联网上的数量呈爆炸式增长,导致云服务市场中充斥着大量功能相似但服务质量(QoS)不同的同质化云服务。在这种情况下,用户很难确保所选择的云服务能够在特定环境中满足自身的完整需求。因此,结合推荐技术,对QoS进行准确和个性化预测成为了帮助用户选择与自身匹配程度较高的云服务的必要条件。近年来,基于QoS预测的云服务推荐在服务计算领域持续引起关注
近年来,智能决策与控制技术得到了突飞猛进的发展,极大的提升了机器人应对复杂实际问题的能力,并逐渐发展为国家层面的战略。电脑鼠是一种嵌入式移动机器人,能够自主探索未知迷宫,并实现最短路径冲刺。为了在狭小复杂的迷宫中高速运行,电脑鼠对控制与决策的性能要求较高,长期处于机器人领域的研究热点。强化学习技术能够让智能体从环境中总结规律,以“试错”的方式提升决策性能,是一种重要的机器学习方法。本文针对迷宫探索
随着物联网、5G等技术的发展,每日新增的数据量呈指数式爆炸性增长,这些来自于各种新兴应用场景如远程医疗、智能汽车驾驶、智慧城市等方面的数据,对服务的URLLC(Ultra Reliable Low Latency Communication,超可靠低延迟通信)提出了更为严苛的要求。为更好的满足这些要求,移动边缘计算(Mobile Edge Computing,MEC)应运而生。而移动边缘计算中一个
随着各种无线应用的不断涌现,无线网络对频谱资源的需求不断增多。而无线频谱资源的不足严重限制了无线网络的发展。可见光通信凭借其丰富的频谱资源、低廉的成本、超高的传播速度成为一个极具前景的无线传输技术。在可见光通信中广泛存在着由于器件非线性引起的非线性失真。而可见光通信系统通常采用的直流偏置光正交频分复用(DCO-OFDM)调制方式存在峰均功率比高的问题,信号容易进入非线性区域,产生非线性失真。当前对
光纤弯曲传感器在建筑、航空、医药、平面度监测、机械结构弯曲角度测量等多个领域都有着广泛的应用和重要意义。随着材料技术的发展,传感器在朝着精确、灵敏、智能化、网络化、低成本、易于加工的方向发展。光纤传感器由于其固有的优势受到了科研人员的广泛关注,而增敏型塑料光纤弯曲传感器有着制作简单,可判断弯曲方向,能有效增大光纤弯曲时的传输损耗灵敏度和动态测量范围,可用于分布式光纤传感等优点。随着图像处理器等高性
细粒度图像分类是计算机视觉领域中的一个重点研究方向,由于细粒度图像数据存在难以收集与标注昂贵的特性以及细粒度类别间相似度高的特点,其识别难度往往远高于通用图像数据的识别。现有的细粒度图像分类方法尽管在一定程度上缓解了类间差异小的问题,但这些方法的训练却倾向于依赖大量数据,而在样本量少的情境下无法很好地完成分类。为了解决上述问题,研究人员提出了针对细粒度图像分类场景下的小样本学习方法,这些基于小样本
随着通讯技术和传感器技术的快速发展与普及,能够融合现代通信与网络技术的智能网联汽车(CAVs)将会逐渐替代普通人工驾驶汽车(HVs)。CAVs通过车与车、车与道路设施之间信息的交互,来具备感知周围环境的能力,从而做出智能的决策,以实现安全、舒适、节能、高效的行驶要求。当前交通存在由于信息滞后导致的交通震荡问题,该现象普遍出现在道路前方路口有红绿灯的情况。且现阶段研究对于道路上CAVs和HVs大量共
移动互联网的普及伴随着大量网络安全问题的出现,许多新型的网络攻击方式层出不穷,危机事件频发。我国互联网安全态势仍然严峻。如何应对网络攻击,保障网络安全是我们亟待研究的问题之一。面对日新月异的攻击手段,传统网络流量异常检测方法已经不适用于当前的网络环境。传统网络流量异常检测方法过于依赖对特征的人工选择,缺乏自适应性,面对新类型的异常检测准确率低;在面对海量高维流量数据时,难以有效提取其中的关键特征,
多智能体系统的分布式协同控制在很多领域有着诸多应用,例如,无人飞行器的编队控制,传感器网络的协同控制等。近几年来,随着学者的深入研究,多智能体系统的控制条件也被考虑的更加复杂和全面。比如,我们在考虑系统实现控制目标的同时,也希望能够达到减少通信次数,节省能量消耗的目的。为此,有学者提出事件触发控制策略和时间触发控制(采样控制)策略。这两类控制都是在控制器中引入触发时刻,使得智能体的控制器由原先的连