【摘 要】
:
Spark是典型的大数据处理计算框架,如何合理租赁预留资源、按需资源是最小化总租赁成本的关键。本文从云服务中间商的角度出发,研究混合租赁方式的Spark应用调度问题,考虑应用的截止期约束,以最小化云服务中间商的总租赁成本为优化目标,该问题的主要挑战有:(1)Spark应用结构存在复杂的偏序关系,大量Stage拓扑序列产生不同调度结果,如何找到最优解或者较好解是典型的NP-hard问题;(2)预留资
论文部分内容阅读
Spark是典型的大数据处理计算框架,如何合理租赁预留资源、按需资源是最小化总租赁成本的关键。本文从云服务中间商的角度出发,研究混合租赁方式的Spark应用调度问题,考虑应用的截止期约束,以最小化云服务中间商的总租赁成本为优化目标,该问题的主要挑战有:(1)Spark应用结构存在复杂的偏序关系,大量Stage拓扑序列产生不同调度结果,如何找到最优解或者较好解是典型的NP-hard问题;(2)预留资源比按需资源单位价格便宜很多,直观上预留资源使用越多总租赁成本应越低,但我们发现这并不是总成立。使用更多的按需资源虽然会增加按需租赁成本,但可减少应用的完工时间,这使得预留租赁成本降低进而降低总租赁成本。如何平衡预留租赁成本和按需租赁成本是一个难点。针对以上问题,本文提出一种混合云服务租赁方式的Spark实例调度算法,包括Spark应用初始化、Stage排序、任务调度、就绪Stage更新和解质量的提高五部分。Spark应用初始化进行Spark应用简化和Stage处理时间估计,提出三种Stage处理时间估计策略;在Stage排序阶段提出最短松弛时间优先、最短估计处理时间优先、最早开始时间优先和最大路径长度优先四种排序策略;任务调度阶段从资源池中为任务搜索可用资源,根据不同资源选择策略为任务选择虚拟机,若搜索完的可用资源集合为空,则根据不同资源租赁方法将任务调度到新租赁按需资源;就绪Stage更新阶段对已完成调度Stage的后继Stage开始时间和入度数量进行更新,并对后继Stage进行就绪与否的评估,将零入度Stage加入就绪Stage队列;提高解阶段通过增加按需资源策略和减少按需资源策略对初始解进行调整,进一步优化总租赁成本。为验证所提算法的性能,采用多因素方差分析技术对算法中的参数及规则进行校正,为本算法选择最佳的参数组合;将所提出算法与基准算法进行对比,实验结果表明,本文提出算法在不同截止期约束和不同Job数量的实例下性能均优于基准算法。
其他文献
近年来,随着网络社交平台的迅速发展,社交媒体也随之兴起。社交媒体每天发布海量信息,内容主题涉及各个领域。内容中隐含的情感信息对舆情监测、民意调查等有巨大的利用价值。然而,目前的情感分析技术主要针对通用文本,在社交媒体场景下存在诸多问题:社交媒体内容日益多元化、专业化,致使情感分析模型在没有先验知识支持下难以充分理解社交媒体信息;传统情感分析算法分析粒度较粗,难以深度挖掘网民情感产生的原因;社交媒体
异常检测的基本目标是检测出偏离整体数据特征的稀少数据,近年来随着互联网技术的快速发展和大数据时代的来临,数据增长速度加快,数据多样性增加,异常检测问题得到越来越多的关注,越来越多的应用在网络入侵、信用欺诈、故障检测、医疗诊断、信息安全等领域中,特别是无监督式的异常检测技术,应用场景更广泛、技术难度更大,因此对其进行研究具有重要的意义。本论文首先对异常检测领域相关技术进行了总结,比较了现有的异常检测
LCoS空间光调制器(LCoS SLM)是一种新兴的液晶光学器件,可以对光波的振幅、相位、偏振态等信息进行灵活调控。近些年,随着光电子技术与现代通信技术的发展,LCoS空间光调制器被广泛应用于通信领域中,其中最重要的应用在1550nm近红外段的波长选择开关(WSS)系统中,作为衍射光栅对光波进行调制。利用LCoS空间光调制器的高分辨率特性,结合像素化电信号驱动,实现光波信号在不同波长通道之间的交互
开关电源在高频高功率密度的发展趋势下,解决由快速开关动作引起的EMI超标已经成为无法避免的设计环节,但额外的EMI优化成本往往导致产品竞争力严重下滑。在不影响性能的前提下找到能有效解决EMI问题的低成本方案具有重要的研究与应用价值。反激变换器作为现阶段消费类电子的常用电源拓扑,通常采用添加原副边Y电容形成低阻抗通路来减少EMI噪声,但随之而来的却是泄漏电流的大幅增加。这不仅导致因无法满足国家安全标
我国是地震灾害多发的国家,研发和应用建筑减震技术具有重要的意义。高层建筑中剪力墙是一种重要的结构形式,而竖向接缝连接是其中一个重要研究方向。为提升该类型结构的抗震性能,本文提出在竖向接缝处安装粘弹性阻尼器,旨在通过阻尼器来耗散能量。本文通过采用试验研究与有限元数值模拟相结合的方法,研究粘弹性阻尼器和竖缝设置铅粘弹性阻尼器的装配式剪力墙的抗震性能,主要研究内容和成果如下:(1)以粘弹性层厚度、剪切位
能源是城市发展进步的重要支柱,在城市能源需求日益增长的同时,环境污染、能源供需不平衡的问题不断加剧。因此,对建设具有更高能源利用效率、更多清洁能源接入的城市能源系统的需求愈发迫切。随着智慧能源概念的提出,面向城市范围内能源应用的城市智慧能源系统的建设成为城市能源问题的一种解决方案,其中,体系架构是城市智慧能源系统研究非常重要的部分。由于城市智慧能源系统的研究总体处于起步阶段,对其详细的架构设计极少
验证码作为网络资源保护的第一道防线,用于区分用户是计算机还是人类,它在网络安全中扮演着重要的角色。但是随着各种破解工具的不断发展,当前的验证码系统已难以保证其有效性。尤其是文本验证码和图像验证码这两种应用最为广泛的验证码,在面对深度神经网络模型的识别时,安全性严重降低。对抗样本是指在原始样本上添加人类不易察觉的噪音而构造的样本,它可以欺骗深层神经网络模型,使其产生错误的识别结果。本文研究基于对抗样
随着人工智能、信息物理系统、大数据、云计算等技术日益成熟与广泛应用,其与能源产业的结合,推动了能源产业新技术、新模式和新业态的兴起。能源体系与发展模式产生了巨大变革,智慧能源已成为未来能源产业发展的大势所趋。城市智慧能源系统是智慧城市的重要支撑,全面科学地评价城市智慧能源系统的发展进程,及时发现城市智慧能源系统发展的薄弱环节,对于正确指导城市智慧能源系统的规划与建设具有重要的现实意义。因此,本文针
随着城市轨道交通的不断发展,居民出行越来越偏向于选择地铁出行。对每天数以百万计的客流量进行协调成为城市轨道交通运营管理最难也是最迫切需要解决的问题。城市轨道交通OD客流(Origin-Destination,OD)直观体现了城市轨道交通网络中所有乘客出发点与到达点之间的交通需求。随着城市轨道交通线网规模的迅速扩大和车站站点的激增,带来OD客流矩阵和客流数据的爆炸式增长,传统OD客流预测方法难以适用
作为交通运输业的核心对象,不同类型的车辆对于交通运输的作用和影响不同,而各种车辆的类别、位置分布以及数量等信息对于车流量估算、实时交通运输状况的监测、分析和管控工作有着极为关键的作用,对实现智能交通运输系统更是意义非凡。相比基于车载或路边固定摄像装置的视频中的车辆检测,航拍视频车辆检测借助航拍独特的广阔视角,可以更加方便地获取更加全局的车辆信息。因此,为了实现高精度的实时航拍视频密集车辆检测,本文