面向资源受限云场景的性能保障问题研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:xh7304
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于云计算简单方便且成本低廉,海量用户推动了现代云计算平台的蓬勃发展。作为一种新的计算和服务模式,云计算通过将大量高性能物理服务器和网络设备等资源抽象为一个巨大的共享资源池,向用户提供无处不在的、方便的、按需的服务。近年来,用户数量的增长造成更多的资源需求,而资源池容量会受到基础设施(如服务器、交换机、机柜)的尺寸、价格、性能以及能源开销的限制,云端资源愈发紧张;因此云服务的性能保障和优化愈发重要。资源受限云场景的性能保障需满足两方面:分配给用户足够的计算资源保障应用正常运行;同时要合理调配网络资源以保证网络服务质量。本文考虑在计算资源(如物理服务器CPU资源)和网络资源(如链路带宽资源)受限的前提下,全面优化资源受限云场景的性能。具体来说,本文首先通过虚拟机放置以保障云服务的健壮性;其次,为了解网络中流量模式并保障网络性能,本文结合流测量和路由调度以提升网络吞吐量;最后,对于分布式模型训练应用,本文通过网内聚合和路由来加速其梯度传输。本文的主要贡献如下:1.在云中,为防范恶意租户攻击和网络功能服务故障等威胁,传统部署辅助系统的方案增加云架构复杂度同时需要额外成本。与传统方法不同,本文提出了健壮性保障的虚拟机放置方法,以减轻异常情況造成的负面影响,提高系统健壮性。本文引入了健壮性约束,提出了面向多租户的健壮性保障虚拟机放置问题,并给出具有有界近似比的算法。在物理测试平台和大规模仿真测试中实现了本文提出的算法,实验结果表明,本文提出的算法与其他替代方案相比,在取得相似负载均衡性能的前提下,将网络功能服务节点故障对租户的影响范围减少了55%,将恶意租户对云网络的影响范围减少了 44%。2.为提高网络性能并保障多类网络应用(如流量工程和攻击检测),细粒度流测量至关重要。由于交换机有限的计算和存储能力,sketch已被广泛应用于高效的流测量。同时,对于不同的测量需求(如重击者检测和流量大小分布估计),需要多个独立的sketch。为了降低流测量给交换机造成的冗余开销,在每个交换机上,指定特定的sketch测量经过该交换机的流量。对单个交换机而言,其测量开销由经过该交换机的流量和每包测量开销决定。如果在每台交换机上进行流测量而不考虑网络路由,由于流量动态性会导致某些交换机上流量突然增大,进而造成测量开销超过计算能力的不良后果。本文研究了结合流测量和路由的联合优化问题,分别提出了面向离线场景和在线场景的高效算法,分析了所提出算法的近似比和竞争比,如在线算法的竞争比为[(1-ε),(log N+log(1/ε))],其中ε是介于0和1之间的值,N由网络内交换机和链路数量决定。此外,本文还设计了基于排队论的自适应采样机制用于突发流量场景下的高保真流测量。大规模仿真结果表明,本文提出的算法能有效提高网络资源利用率。例如,与已有算法相比,在线算法可以将网络吞吐量提高30%。3.随着分布式模型训练应用的广泛部署,网络资源(如带宽)越来越稀缺,已有工作试图通过数据压缩或流量调度来缓解带宽压力。但是,由于已有工作仍在终端主机聚合梯度,依然存在网络带宽瓶颈。网内聚合作为一种新方法,通过网络设备(如可编程交换机)在网络内部进行梯度聚合以缓解网络资源紧张。然而,目前网内聚合方案忽略了梯度路由及聚合位置选择的重要性,导致分布式模型训练的梯度通信效率较差。为缓解网络资源瓶颈并加速分布式模型训练,本文研究了面向分布式模型训练的网内聚合与路由问题。本文将该问题形式化为非线性混合整数规划,并证明其NP难。由于网络中流量的动态性,本文采用了两阶段方法:首先将训练模型拆分到多个参数服务器中,然后决定网内聚合和路由方案。针对上述两阶段,本文分别提出了基于拉格朗日对偶和基于随机舍入的算法。在物理测试平台和软件测试平台上进行了对比实验,实验结果表明,本文提出的算法可以降低梯度通信对网络带宽资源的损耗,加速模型收敛。例如,与现有算法相比,本文提出的算法可以降低模型收敛过程中的梯度通信时间约81%。
其他文献
先进天基太阳天文台(ASO-S卫星)是即将发射的中国第一颗综合性太阳专用观测卫星。本文围绕ASO-S卫星三大科学目标之一——耀斑,对其能量释放过程进行了深入研究,并首次给出了耀斑中非热电子低能截止的成像证据;结合ASO-S卫星的载荷之一——硬X射线成像仪(HXI)的技术特点,探讨和分析高能成像质量评估的重要性,给出了成像质量评估的重要参考指标。耀斑与微耀斑的异同点一直以来都是耀斑研究领域的开放性问
生物质的高值化转化是当前绿色化学和能源化学领域的重要课题。作为大宗生物质平台分子,糠醛及其衍生物的催化转化及利用受到广泛关注。糠醛分子含有羰基、双烯、环醚官能团,可通过选择性加氢/氢解制备多种C4和C5化合物。发展高效催化剂实现糠醛及其下游产物催化转化制备高附加值产品具有重要的科学意义和应用价值。本论文以糠醛及其下游衍生物的催化转化合成高附加值化学品为研究目标,针对生物质氢解高效催化剂研制及多相催
大气气溶胶通过吸收和散射作用影响光波在大气中的传输,同时也能够通过影响云的特性来改变辐射收支。近地层大气湍流由于其无序性、不确定性,与大气气溶胶之间有着较为复杂的关系。我国幅员辽阔,大气气溶胶和大气湍流在不同地形、环境及气候下都有不同特征,导致对不同地区的大气气溶胶、大气湍流特性认识存在不确定性。因此,有效获取各类地区气溶胶、湍流参数并且客观准确的掌握气溶胶与湍流之间的相互关系,能够对今后该地区气
在托卡马克等离子体中,电子能量超过一定阈值后其受到的碰撞阻力会小于其受到的电场加速力,之后这部分电子就会被持续加速到很高的能量,这一现象被称为电子逃逸现象,这些电子被称为逃逸电子。这些高能逃逸电子一旦损失出去会对装置第一壁等面向等离子体的部件造成严重的损害,甚至使其局部熔化。目前逃逸电子仍然是威胁未来托卡马克类型磁约束核聚变反应堆安全的一个重要、尚未解决的关键科学问题,因此迫切地需要寻求缓解或抑制
我国依托于空间站的建设,开始发展大规模多色成像与无缝光谱巡天,即中国空间站工程巡天望远镜,简称CSST。巡天模块作为构成CSST的五大模块之一,选用了 24块高衍射效率的透射光栅作为色散器件,在焦平面之前对255 nm~1000 nm波段的光线进行色散分离。在复制光栅的方案中,因为现有材料对紫外波段(工作波段为255nm~420nm)的强烈吸收,会显著降低通光效率,减少望远镜巡天观测的星等范围。针
多孔有机聚合物因可观的比表面积、连续的孔道结构、丰富的结构设计以及灵活的制备手段等优点被广泛应用于分离纯化、能源动力、高效催化等领域。因多孔有机聚合物优异的孔道性质,被认为是可以突破膜材料选择性和透过性相互制约限制的新一代材料。然而,大部分的多孔有机聚合物都具有高度交联的框架结构,因而难以通过溶液加工或熔融加工的方法制备成膜。这一问题极大限制了多孔有机聚合物在膜分离材料中的应用。界面聚合的方法可以
<正>切实把思想和行动统一到习近平总书记对北京重要讲话精神上来,旗帜鲜明讲政治,坚决做到"两个维护",全力推动党中央决策部署贯彻落实。刚刚过去的2019年是新时代的重要历史节点,大事多、喜事多,做好首都工作任务艰巨、责任重大。北京市委办公厅牢记职责使命,高举习近平新时代中国特色社会主义思想伟大旗帜,增强"四个意识"、坚定"四个自信"、做到"两个维护",坚定不移推动党中央决策部署在北京贯彻落实,坚定
期刊
随着城市化进程的稳步推进与人口规模的日益扩大,人群聚集的情况越来越普遍,大量密集场景存在着诸多安全隐患。为了预防突发事件,保障人民安全,智能监控系统引起了社会的重点关注。人群计数作为该系统的重要组成部分,旨在准确估计图像中的行人数目与密度分布,在城市规划、交通管控等领域有着广泛的应用。特别是最近两年,新冠肺炎席卷全球,监测和分析高密度人群可以提供有效的疏散计划,是控制疫情大面积蔓延的必要手段。随着
化学动力学治疗(chemodynamic therapy,简称为CDT)是由肿瘤微环境(tumormicroenvironment,简称为TME)内源性化学能激活的、无需外界刺激的治疗手段。依靠芬顿/类芬顿(Fenton/Fenton-like)反应,CDT试剂可以催化TME中过量的、毒性较小的过氧化氢(H2O2)产生极具细胞毒性的活性氧(reactive oxygen species,简称为RO
实现碳中和这一长远目标离不开清洁型能源-氢能的开发,利用可再生能源发电进行电解水制氢是最理想的绿色制氢方式之一。电解水制氢包含析氢反应(HER)和析氧反应(OER),开发高效的HER和OER电催化电极,降低水分解反应的过电势和能耗,提高能量转化效率,是推进电解水制氢迈向实用化的关键。虽然贵金属及其氧化物如:Pt、Ir、IrO2、Ru和RuO2等具有优异的电催化活性,但其高昂的成本难以满足大规模应用