数据中心网络中的协同流调度机制研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:willa81
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络技术的发展和社会经济的快速增长为数据中心建设提供了巨大的推动力,数据中心所提供应用服务也在不断增加。应用服务所产生的海量数据带给数据中心巨大的压力,因此许多应用采用分布式存储方案来进行数据的存储。这种场景下,如何保障应用的传输需求,如何提升网络性能都引起了相关研究人员的广泛关注。数据中心中的多数集群应用都以协同流(Coflow)为单位进行调度,Coflow被定义为并行计算所引发的两组服务器之间的具有相关关系的一组数据流的集合。传统的以单个流为流量模型进行调度的策略着眼于满足单个流的传输需求从而达到优化网络性能的目的,然而单个流模型不适应于Coflow调度。数据中心内的流量调度还存在不少问题和瓶颈,例如:在截止时间内任务的传输不能得到保障、任务的完成时间过长等。本文在现有的流量调度研究成果基础上研究Coflow调度机制,具体研究内容和贡献如下:(1)为了解决数据中心中时间敏感Coflow的传输需求,本文设计了基于信息感知的集中式的高优先级先满足的Coflow调度机制(HPSF)。本文首先分析了并行计算中数据流的产生过程,引入了Coflow这一类型数据流模型。本文在信息已知条件下对Coflow产生过程进行建模,设计了节点放置算法为Coflow选择合适的计算节点进行任务放置,接着为Coflow分配优先级。HPSF调度机制按照优先级顺序满足Coflow的传输速率,使尽可能多的Coflow能够在截止时间内完成传输。保障了在资源充足的情况下,Coflow只占用最少的带宽资源,减少数据流之间对带宽资源的争夺;在资源匮乏的情况下,保障高优先级的Coflow的传输需求。本文仿真结果表明,与经典的Varys和DCS调度机制相比,本文的HPSF机制在资源充足和资源匮乏情况下将能在时限范围内Coflow的完成个数提升到了83%和79%。(2)为了解决集群计算框架下的流调度问题,基于Coflow的调度策略成为研究热点。Coflow是同一并行计算任务的两个不同阶段之间的数据流的集合。在先验信息未知的情况下,Coflow调度依赖于发送部分的数据流信息来推断同流的数据大小,并为Coflow分配调度序列,容易造成拥塞。为了解决数据中心信息未知情况下的Coflow优先级队列中的阻塞问题,本文设计了基于信息无感知的按照端口数分类的Coflow调度机制(CAPN)。本文首先分析了Coflow的完成时间与Coflow数据量以及端口数之间的关系,然后提出了分类算法利用端口数阈值代替数据量阈值对Coflow进行优先级分类。然后针对不同类别的Coflow的长度、宽度等特征对Coflow进行优先级调整,从而大大减少了Coflow的平均完成时间。仿真结果表明,与经典的Aalo和MCS调度机制相比,我们的CAPN机制可以分别减少31.32%和25.72%的Coflow完成时间。
其他文献
学位
家蚕(Bombyx mori)由古代野桑蚕经长期驯化而来,在我国是十分重要的经济昆虫以及研究鳞翅目昆虫的重要模式生物。家蚕是一种完全变态昆虫,完整的家蚕一生经过卵期、幼虫期、蛹期、成虫期四个发育阶段,其形态差异巨大且生理机能也完全不同。在家蚕的生长发育和变态过程中,主要依靠由咽侧体合成的保幼激素(Juvenile hormone,JH)与前胸腺合成的蜕皮激素(20-hydroxyecdysone,
学位
热应激极大的损害了雄性动物的生殖能力。支持细胞是睾丸中具有重要功能的一种体细胞,容易受到热应激的损害。精氨酸作为一种功能性非必需氨基酸,在促进仔猪生长发育过程中必不可少,同时精氨酸及其代谢产物在细胞过程和信号传导中起重要作用。然而,尚不清楚精氨酸及其代谢产物是否参与了热应激诱导的睾丸支持细胞的凋亡。本试验利用体外热应激模型,旨在探究精氨酸是否参与热应激诱导的支持细胞的凋亡,并探讨精氨酸及其代谢物在
人工智能及其相关领域的不断融合与发展巩固了以大数据为核心的信息化时代进程,这导致传统集中式优化方法受到了数据爆炸、数据结构日趋复杂、分布式硬件框架深化等客观因素的巨大冲击与深刻影响。因此,以并行计算和分布式存储为核心的分布式优化算法近年来受到了广泛的关注与应用。相较于传统集中式优化方法采用一个中心节点来协调和控制整个网络化系统的计算与通信,分布式优化方法首先将大规模优化问题分解成一系列可和的子问题
柑橘是世界上种植最广泛的水果之一。柑橘黄化脉明病毒(Citrus yellow clearing vein virus,CYVCV)是印度柑橘病毒属(Mandarivirus)的一种新发病毒,可通过柑橘粉虱(Dialeurodes citri)、绣线菊蚜(Aphis spiraecola)以及污染的刀具在柑橘之间进行高效传播,对柑橘产业尤其是柠檬产业具有重大威胁。CYVCV在柠檬(Citrus l
计算机行业一直在逐步增加单个处理器芯片的核数,通过并行计算来获取高性能。随着互补金属氧化物半导体(Complementary metal oxide semiconductor,CMOS)片上技术的不断改进和集成,核上处理芯片的数目在急剧增加,成百上千个核将集成在一个芯片上,多核处理器以高性能的优势发展成为一个极具吸引力的平台。但是,随着芯片上核的增加,处理器的数据速率将很快达到数十GHz,这意味
2014年初,杭州市依托地方财政的投入,积极响应浙江省“五水共治”的战略举措。2015年杭州市各区/县用于“五水共治”的财政投入平均占一般公共预算支出的21%。目前对高财政投入的环境治理政策进行的成效分析,多聚焦于城市环境改善和政府效能提升,但常忽视财政投资导致了居民财富(房价)变化这一重要议题。本研究通过分析政策、水质和房价之间的关系来论证这一议题,补充现有关于“五水共治”政策成效的研究,也有帮
2009-2019年間,各類期刊尤其是文博類期刊陸續刊佈數量眾多的唐代墓誌材料。該批墓誌大多出土於河南、陝西、山西、河北等地,其著錄內容通常包括墓誌圖版及錄文、誌石出土及現存情況、原石尺寸、書體、撰文、刊刻人等方面,爲文史研究提供了相關材料。本文共清理出各類期刊於2009-2019年間所公佈的唐代墓誌158通,其中發掘簡報公佈71通,文史研究類論文涉及87通;有釋文的墓誌153通,無釋文的墓誌5通
随着人机交互技术的发展,基于计算机自动算法的表情识别研究已成为近年来的热点。为了提出更加接近人脑运作机制的表情识别类脑算法,有必要深入研究人们在识别表情时神经元的连接以及神经机制。人脑识别表情的过程在毫秒级别,在这个时间尺度研究脑识别表情的神经机制,且精确定位于完成识别任务相关联的脑区,需要新的研究工具。脑磁图(MEG)兼具高时间分辨率和高空间分辨率,是研究面部表情识别神经机制的理想手段。为了探索