数据中心网络Coflow调度的效益优化研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:gpm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据发展的今天,部署在数据中心的应用类型和体量剧增,对数据中心网络资源管理提出富有挑战性的考验。在资源管理中,数据中心网络不仅需要满足应用的需求,同时也需要考虑网络资源成本。Coflow调度是数据中心网络资源管理的有效技术手段。然而,现有的研究工作要么是以减小Coflow的完成时(CCT)为目标,要么是保障Coflow在截止时间(Deadline)之前完成。这两个目标虽然都能够提高应用的性能需求,但是缺乏针对网络资源成本的经济效益和开销的考虑。因此,本文的主要研究目标是满足应用需求的同时最大化Coflow调度的经济效益和最小化开销。具体内容是:一方面,针对未满足在截止时间(Deadline)之前完成的Coflow,以往研究工作通常舍弃该Coflow并不再为其分配网络带宽资源,使得该Coflow之前一段时间(Coflow开始时间到截止时间)的带宽分配成为带宽资源浪费,且更重要的是也影响了真实的应用需求(即使未满足Deadline也仍然有效益)。为此,本文提出Min Cost算法,量化最小化Coflow超过截止时间后继续为其分配网络带宽资源带来的经济开销。另一方面,针对能满足Deadline的Coflow,现有工作往往不注重完成时间的优化,因此,本文提出MaxUtility算法,减小其完成时间,并量化最大化Coflow早于Deadline之前完成带来的经济效益。我们使用Facebook的真实数据集进行了实验,结果表明:对于那些超过Deadline的Coflow的调度,相比FIFO和EDF其带来的经济开销分别是我们算法Min Cost的2.4倍和1.8倍;而对于那些未超过Deadline的Coflow的调度,MaxUtility比FIFO、EDF和SCF均有显著的经济效益提升,最大能达到提升9.8%。
其他文献
近年来,计算机视觉领域的图像分割技术已经广泛地应用于目标检测和众多图像处理任务中。研究人员已经研究探索了众多图像分割技术,其中基于超像素的图像分割技术由于可以更好的获取分割区域之间的细小差异、对于自然图像具有获得多尺度和多样化的分割模式、以及比像素级别的图像分割具有更高效率的优点,因此基于超像素的图像分割技术仍然具有很大优势。本文的目的在于改进原有的基于人工设计像素特征提取超像素的算法产生高质量的
盲量子计算协议是一种新的安全量子计算协议,该协议使没有足够量子能力的客户端能够将其量子计算任务委派给拥有完整量子能力的服务器,并且盲量子计算协议可以保证服务器无法知道客户端的输入、输出和计算任务。目前已提出的盲量子计算协议或要求客户端具备较高的量子处理能力或要求多个服务器共同完成任务。为了降低客户端的量子能力,本文提出了一种客户端仅具备Y测量和Z测量的单服务器盲量子计算协议。按照协议所定义的量子计
莱斯噪声的去除是磁共振成像(Magnetic Resonance Imaging,MRI)中一个重要的问题。近年来,一些基于学习的方法在图像恢复方面取得了一定的成果,这些方法不仅速度快,而且去噪效果很好。然而,这类方法有一定的局限性,这些模型的训练是过程是依赖于噪声水平的,即,训练的模型会受到特定噪声水平的限制,缺乏适应不同水平噪声的能力,在处理不同水平的噪声时,需要训练不同的模型。本论文主要研究
随着计算机硬件的不断发展,多核处理器的出现频率越来越高,使用并发程序的场景越来越多。并发程序相比于传统的顺序程序有很多优势,它有更高的运行效率和更充分的资源利用率,但是它也存在一些不足。由于并发程序中线程调度的复杂性和程序运行时的不确定性等问题容易产生并发缺陷,这些并发缺陷如果不能及时地被修复,必将会造成严重的后果。并发缺陷与传统缺陷不同,有时只会出现在某些特殊的调度中且需要使用合适的补丁来修复,
随着云计算的发展和大数据时代的到来,数据中心承载的集群应用层出不穷,数据中心网络传输已经代替存储和计算成为应用性能的瓶颈。在网络传输层,Coflow(具有共同目标的flows集合)更能表示集群服务器之间数据传输产生的语义抽象。目前,针对Coflow的研究主要集中在:1)如何提高Coflow的效率(减小Coflow的完成时间);2)如何保障Coflow性能隔离(即公平性)。在Coflow信息已知的情
随着车载电子技术的飞速发展,驾驶安全性问题成为人们日益关注的一个话题。汽车行进过程中驾驶员视线的偏移是交通事故频发的主要原因之一。HUD平视显示技术是一项近年来逐渐应用于车载领域的安全驾驶辅助技术,主要通过减少驾驶员低头查看信息的次数,使视线集中在正前方来提高驾驶安全性。车载HUD平视显示系统通过图像翘曲形变以及插值运算将原始平面图像信息显示在汽车的前挡风玻璃曲面上。为实现图像翘曲形变,建立了一种
在大数据驱动的数据中心网络中,负载倾斜和网络拥塞严重影响着网络效率。大量的研究工作为此展开。但现有的研究工作仍然存在着问题:在负载倾斜方面,由于网络存在非对称性和网络资源的侵略性使用,使得无论是基于数据包(packet)还是基于数据流(flow)的负载均衡技术都难以改善网络负载倾斜问题;在拥塞控制方面,传统的基于packet的拥塞控制技术面临无法简单有效避免拥塞和数据包重排序的严重问题,不利于解决
环形可展天线服役于空间环境,空间高低交变的温度场使得天线的热变形时刻发生着变化,其形面精度和张力分布也随之改变,进而影响天线信号传递的稳定性。本文以环形可展天线为研究对象,基于力密度和非线性有限元的找形方法,研究了考虑热变形的找形方法。首先,介绍了空间热环境特性,详细阐述了空间低温、空间真空、空间微重力和空间热源的特点及其对天线产生的影响;进而对空间热源参数做出基本假设,定义了天线轨道及其运行姿态
人工智能技术的发展促使语音交互从由系统占主导地位的第一阶段进入双向互动的第二阶段,人与机器的互动更加简单、高效、自然和多样。一方面,相较于图形界面交互,目前对语音交互的研究较少,缺乏具有普适性的用户体验模型;另一方面,老龄化问题愈发严峻,老年人生理、认知、心理特征使其有希望成为语音交互的潜在用户。本文具体研究内容及成果如下:1.搭建具有普适性的语音交互下的用户体验要素模型。用户体验要素模型是由Je
光遗传学技术是一种具有精准靶向、快速响应等优势的新兴生物神经调控手段。传统光遗传实验系统主要采用的植入光纤或器件的方式会对动物行为学分析造成一定的影响。因此,利用视觉技术进行定位和跟踪的无线光遗传实验系统的研究具有重要实践价值。本论文针对目前光遗传学实验系统存在的缺陷,提出并设计了一种基于视觉跟踪的无负重、无植入、满足大范围辐照的系统方案。根据对主流视觉跟踪算法的分析,将内建状态转移模型的粒子滤波