数据中心网络业务性能优化技术研究

来源 :解放军信息工程大学 | 被引量 : 0次 | 上传用户:angelagao00
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云服务的快速应用和大数据处理技术的不断发展,作为核心基础设施的数据中心网络(Data Center Network,DCN)越来越受到学术界和产业界的广泛关注。大数据集中处理的需求.使得数据中心网络的流量从传统“南北流量”占主导的模式转变为“东西流量”占主导,数据中心网络承载的业务流量特征正在发生新的重大变化。与此同时,数据中心骨干网(Data Center Backbone Network,DCBN)的业务流量传输性能需求呈现多样化的趋势,云服务提供商从经营成本考虑,重在提高骨干网的带宽利用率,骨干网业务流量的传输性能难以保障。而新兴业务和用户数量的高速增长使得数据中心网络的流量规模不断增大,网络核心链路的带宽竞争加剧。这些新的变化和趋势给数据中心网络的业务性能带来了巨大的挑战,新形势下设法优化数据中心网络的业务性能成为亟待解决的问题。本文在系统总结数据中心网络研究背景和研究现状的基础上,以数据中心网络业务性能优化的为目标,分别从直接和间接角度出发,一方面研究数据中心网络特有的语义相关流调度机制和数据中心骨干网聚合流量传输机制,提高流量的传输性能;另一方面研究虚拟机初始放置和迁移技术,减少网络核心链路的业务流量。主要的研究成果如下:1.针对数据中心网络独有的并发性语义相关流,提出了基于深度增强学习的语义相关流调度方法。在DCN流量特征发生变化的情况下,为最小化语义相关流的平均完成时间,将带宽约束的语义相关流调度问题转化为连续的学习过程,通过学习以往策略实现最佳调度。结合反向填充和有限复用机制,保证系统的工作保持性和无饥饿性,进一步降低语义相关流的平均完成时间。仿真结果表明,在不同的网络负载下,提出的调度机制均使得语义相关流的平均完成时间小于其他调度机制,尤其是网络负载较大时,相比最先进的调度机制,性能提升约50%.同时,系统适应性强,能够完成不同流量特征下的语义相关流高性能调度。2.针对数据中心骨干网中依据业务性能需求划分的汇聚流,提出了一种面向网络效用最大化的汇聚流传输模型。研究表明,数据中心骨干网络的流量根据传输性能需求,可以分为若干类,亦即流量具有汇聚性。为优化DCBN汇聚流的传输性能,在简单多径传输的基础上,以汇聚流的传输性能需求为约束条件,以特定链路上的汇聚带宽和各路径发送速率为变量,建立了面向网络效用最大化的汇聚流传输模型。当网络中的流量到达率满足排队模型M/M/1时,该优化问题可通过对数变换和连续凸逼近的方法转化为凸优化问题,从而快速求解。对比该模型和其他经典算法的仿真结果,证实了模型在提高汇聚流传输性能上的先进性。3.针对数据中心网络中虚拟机通信占用大量核心链路带宽的问题,提出了一种面向核心链路流量最小化的虚拟机在线放置方法。数据中心网络中,优化虚拟机放置有利于改善网络流量的空间分布,减少核心链路的流量,提高网络的流量可扩展性。从充分利用数据中心网络架构的特点出发,建立了多维度资源约束下、以最小化核心链路流量为目的的虚拟机在线放置组合优化模型。鉴于组合优化问题的求解具有极高的复杂度,进一步采用一种马尔科夫逼近方法,获得了原始组合优化问题最优解的近似值。理论分析表明,该近似解与原始问题的最优解之间的差距不超过一个极小的常数。仿真结果表明,该虚拟机放置方法相比两种常用的启发式方法,网络核心链路承载的流量更少、流量可扩展性更好。4.针对数据中心网络中虚拟机在线迁移时传输数据量大、传输时间长的问题,提出了一种基于机架级内存页约减的虚拟机快速在线迁移算法。数据中心网络中,虚拟机在线迁移需要在网络核心链路上完成大量的数据传输,造成虚拟机承载的网络应用及其他应用性能下降。传统方法采用内存页重传避免机制解决这一问题,其引入的哈希表查找结构由于链表长度分布不均、查找效率低下,带来虚拟机迁移时间增加,数据更新量大的问题。用计数型布隆过滤器代替哈希表,布隆过滤器的多个哈希函数能够在平均意义上降低链表长度分布的不均匀性,在此基础上引入最大化剪枝算法,去除链表中冗余的内存页信息指纹,有效降低了哈希桶对应的链表长度。在该查找结构的基础上,提出机架级的内存页重传避免机制,使得源、目的机架相同的虚拟机在迁移过程中相同的内存页只需要传输一次,极大约减了迁移过程中的待传输的内存页数量。实验结果表明,该方法比现有方法的数据传输量更低,迁移时间更短,降低了迁移对网络应用性能造成的影响。
其他文献
科学家们正快马加鞭地朝着那个可谓空前绝后之雄心勃勃的全球研究计划奋进:用10年时间探索并且解开全球海域大洋深处各类生物的秘密。一些生物包括金枪鱼和海龟都可能会在不
2 0世纪以来 ,科学的日新月异 ,丰富和改变了我们的视觉体验 ,今天的生活与色彩发生着密切的关系。由色彩造成的心理上的满足和刺激感 ,不断影响着人们 ,色彩完全融合于日常
<正>1.理论渊源(1)勒温的场论和团体动力学组织气氛的研究最初根源于勒温的各种著作(R.Owens,1981年)。勒温在其著名的场论叙述中指出,要了解人类的行为,必须考虑行为发生的
<正> 在我国封建社会,屯田是组织社会生产的一种特殊形式,始于西汉,延至明清,带有明显的军事性,无不同垦荒、驻防、戍边等密切相关。长期以来,对于清代屯田一直缺乏系统深入
<正>普通高中课程标准实验教科书《物理》选修3-1第二章第十节"实验:测定电池的电动势和内阻"中,利用较粗的铜丝和铁丝相隔约几毫米插入马铃薯或苹果中,制成水果电池,通过伏
运用问卷调查、数理统计等方法对安徽省20所重点中学教练员队伍的现状进行了分析与研究,结果表明当前重点中学教练员队伍,在运动经历、专职化程度、培训状况、人事管理以及训
做好高校的公文管理是高校办公室的一项重要工作,它对确保公文的有效运转,提高学校工作效率具有十分重要的意义。文章从建立严格的登记制度、采取适当的传阅方式、建立健全催
<正>海洋生物普查(Census of Marine Life,CoML)又称为"全球海洋生物普查计划",是一项历时10年(2000–2010)空前成功的国际合作计划(http://www.coml.org/news-conference)。
<正>1月21日,国家统计局局长宁吉喆在国务院新闻办公室举行的2018年国民经济运行情况发布会上介绍,2018年全年国内生产总值900309亿元,比上年增长6.6%,经济运行保持在合理区
企业的核心员工是构成企业人力资本的重要部分 ,如何稳定核心员工并将其转化为人力资本 ,是现代企业管理中十分重要的问题。指导和参与核心员工的职业生涯发展规划 ,能凝聚核