混部集群资源利用分析

来源 :计算机学报 | 被引量 : 0次 | 上传用户:yxl0173
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现代互联网数据中心的规模随应用服务需求的增长而越来越大,但数据中心资源利用率低已逐步成为云计算进一步发展的制约因素.为了提高数据中心的资源利用率,云服务提供商将在线服务和离线批处理作业混合部署到同一个生产集群中.但混合部署增加了数据中心管理系统复杂性,对数据中心系统调度和工作负载分配提出了新的挑战.本文从资源使用角度出发,统计分析了阿里巴巴最新发布的包含4034台机器长达8天的混部集群日志数据集,刻画了机器对离线批处理任务与在线服务容器资源分配策略,以及离线批处理作业与在线服务之间的相互干扰.并根据不同的负载特征,以多种方式对机器进行分类,研究机器分工对集群效率提升的意义.通过分析阿里巴巴集群日志数据集,我们发现:(1)集群中43.271%的机器存在容器对CPU核心“超订”现象,而内存不存在“超订”现象;(2)集群中存在“备用节点”,确保集群出现故障时,任务能及时被转移到“备用节点”继续执行;(3)延迟敏感的在线任务的CPU利用率较低,但对内存资源的需求比较高,而离线批处理作业的CPU利用率较高,在线任务和离线任务的资源占用互补;(4)混合部署显著提高了CPU利用率,而内存可能是限制集群性能的主要因素;(5)集群中容器分布存在不平衡性;(6)离线任务的混合部署导致容器内存利用率有所下降,且当在线服务资源需求激增时,调度器缺少一定的容错性和健壮性;(7)离线任务如何部署与容器当前性能紧密相关,尤其是容器CPI指标,与离线任务部署呈现显著相关性.本文对集群负载特性、资源使用及离线和在线任务相互干扰进行研究,有助于其他研究人员对集群系统调度和负载分配分析优化,以提高现代数据中心的资源利用率.
其他文献
供应链网络(Supply Chain Networks,SCNs)是在全球经济一体化、市场竞争日趋激烈化和客户需求多元化的背景下产生的,SCNs管理主要是通过控制和协调SCNs中各个节点成员及其行为,
立体视觉是一种较为常用的深度获取方法,可以通过不同的基线和相机焦距配置获得较广的深度感知范围,但只适合纹理丰富和明亮的场景。Kinect是一种基于红外主动结构光的深度像
“简单整转”:并非灵丹妙药    不可否认,目前地方广电无论是在保持技术优势还是在争取政策支持上,都开始显得力不从心。因此,很多人认为惟有整体转换才能让地方广电摆脱困境——一方面,利用整转后新增频道,开展新业务增加收入;另一方面,通过整转一次性推广新技术,有效屏蔽竞争对手的威胁,巩固现有的垄断格局。  这些设想如果能够实现当然再好不过,但笔者不免怀疑,仅仅依靠简单化、模式化的整转,真能改变地方广电
在信息快速增长的时代,人类每秒钟可能会接收数以亿计的信息,一般认为这种数量级的信息已经远远超过了人实时处理信息的极限。人类视觉系统(Human Visual System)可以从输入的
我在一首诗里住着一丝不苟  描摹一张脸写下  雅量海阔天空  心底我佛慈悲  弹古筝觅高山流水  建空中楼阁调养风姿绰约  对镜花水月热情洋溢  指认良禽一定择木而栖  你定是为了我的宁为玉碎  不为瓦全离开魏晋  被春风押解到这座小城  与我制造天地合阴阳顺  打通历史的筋脉  从绿肥红瘦  三杯两盏淡酒中来仔细  把我辨认  笔落惊风雨墨韵流香是你  诗成泣鬼神相映成趣是我  你饒我上指尖笔端
期刊
一个人生命延续的三种方式:旅行、读书和健身;指的是心智的成长。所以有了那句话一一要么旅行,要么读书,身体和灵魂必须有一个在路上。这句话经常被我们挂在口边,但有的人身体力行着。  她37岁去过37个国家,7年出版26本书。  她坚持一天读一本书,一天看一部电影  她是台湾“广告文案教母”,以诗歌般的创意文字将诚品书店塑造成为台北市的文化地标。  她说,她不在乎那些主管、经理、老板之类随时可以被别人取
机器人视觉导航的研究,实质就是设计一种导航算法,算法的输入为获取自图像输入设备的数字图像,输出为机器人的运动行为决策:前进、后退、左转、右转、加速、减速等。本课题研