应用性能管理监控平台业务容量管控子系统的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:cg84989679
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
应用性能管理监控平台是京东面向内部的智能运维平台,它负责对微服务架构下所有的应用进行监控和分析,从而保障系统的正常运行,使用户能够得到高质量的服务,使研发人员能随时随地通过平台看到业务、性能、组件、基础服务等多维度的监控信息,以便快速了解相关业务的运行状况并及时作出调整。京东作为电商平台,面对大促期间的流量高峰,对部分核心业务的扩容以及非核心应用的容量降级是应用性能管理平台所具备的重要功能,所以对系统未来运行状态各类资源消耗指标进行预测是该功能最关键的部分。以往依靠运维经验进行人工的扩缩容需要耗费太多的人力并且由于人工预估精度不高往往需要二次扩容、二次降级等。而相比传统方法基于机器学习的预测模型具有适应能力强的特点。论文将机器学习模型贴合业务需求应用到平台中的系统资源消耗指标预测功能上,并且构建了业务容量管控子系统。在论文中首先阐述了背景知识和相关技术,之后结合应用性能管理监控平台的整体架构,介绍了业务容量管控子系统在整个平台的位置和工作场景,并分析了业务容量管控子系统的具体需求,总结出系统所具备的功能点。在后面系统的设计和实现部分,将整个子系统分为四个模块,即数据处理模块、应用分类模块、容量预估模块、扩缩容模块。在对系统整体概述之后又并分别从应用场景、算法设计、算法实现、算法效果对比、算法关键代码、前端界面等多个维度详细说明各个模块的实现。论文面对业务容量管控流程中不同的需求点结合不同的机器学习算法分别建立了不同的机器学习模型。从数据的预处理到应用的分类,再到应用的容量资源消耗水平预估,每一个关键步骤都是在严密结合业务场景下建立的模型。应用孤立森林算法对日常监控数据中的噪点进行识别清除;采用滑动窗口构建不同时间粒度下的时序数据;应用传统的聚类算法对核心应用进行分类;应用线性回归算法和LSTM(Long-Short Memory Network,长短期记忆神经网络)算法建立业务容量预估模型;得到预估值后结合多维度的扩缩容策略对不同的业务进行精准的扩缩容。自上线以来,经历双11大促的高峰流量考验,系统运行状态良好。双11期间据统计,准确的容量预估结合全面的扩缩容策略为公司节省了近万核机器资源并且解放了大促期间扩缩容方面的人力。大大提高了运维效率,达到了企业对智能运维的基本需求。
其他文献
学位
由于成文法的局限性和抽象性等缺陷,我国在司法改革过程中逐步建立起案例指导制度。案例指导制度对于统一法律适用和裁判尺度,提升司法效率,促进司法公正,弘扬社会主义法治精神具有十分重要的意义。指导案例是实施案例指导制度的重要材料来源。各高级人民法院负责辖区内指导性案例的推荐、筛选和监督工作,并准备备选的指导性案例推荐给最高人民法院。随着指导案例的逐步增加,法院传统的指导案例工作的管理方式已经不利于指导案
【目的】国家实施创新驱动发展与健康中国战略的国情国策背景下,为提高护理科研能力、改善护理质量,创新型护理人才培养被确立为护理专业教育的重要发展方向。然而现有的研究多着眼于大学生或护理从业人员的科研创新能力培养研究,并未对护理专业学生进行深入的探究。本研究探讨护理专业高等教育的重要对象——本科生,探究护理本科生信息素养与科研创新能力维度之间的关系,希望为我国高校培养护理专业创新型人才提供实证依据。【
软件bug是指计算机程序或系统中隐藏着的一些未被发现的问题或缺陷。一个微小的bug,也有可能导致非常严重的后果,现实生活中并不缺少类似案例。然而软件bug在软件开发和维护过程中是无法避免的,因此有效管理和解决bug显得尤为重要。当前应对上述问题的常见方法是使用Bug管理工具,Bug管理工具可以有效管理bug的整个生命周期,Bugzilla就是其中的一个典型代表。目前,Bugzilla拥有大量用户并
裁判文书,是记录诉讼活动结果和人民法院审理过程的载体,是人民法院确定当事人实体权利与义务的唯一凭证,也是上级人民法院监督下级人民法院审判活动的重要依据。当前法院使用的裁判文书编写系统不能在法官编写裁判文书的同时展示相关资料以供参考,也没有提供将文本快速引入裁判文书的方法,影响裁判文书的编写效率,不利于司法效率的提高。基于上述背景,本文提出了构建新的智能文书制作系统这一解决方案,将文书编写界面和相关
近年来,随着高分子材料在纳米技术中的应用越来越广泛,聚合物在纳米尺度下的行为渐渐受到人们的关注。当聚合物受限在纳米尺度时,其玻璃化转变、结晶、流变等许多行为都会与其本体中的行为发生偏离。在本论文中,我们首先研究了一维受限高分子薄膜的等温结晶行为,然后又将受限空间从一维扩展到二维,研究了聚合物在纳米孔道中的流动行为。首先,我们利用闪速差式扫描量热仪(Flash-DSC)研究了不同厚度的PET薄膜在较
本论文主要围绕低硅铝比有序介孔X型沸石分子筛材料、氮掺杂有序介孔碳材料以及高分散金属氧化物掺杂有序介孔碳材料展开研究。第一部分首先考察了以正硅酸四乙酯(TEOS)替代硅酸钠作为硅源,从澄清硅铝源来合成X型沸石,在此基础上使用有序介孔碳CMK-3作为模板来合成有序介孔X型沸石分子筛;第二部分以EDTA为碳氮前驱体,通过硬模板法来合成掺杂有序介孔碳材料,利用X射线衍射、低温氮气吸附脱附、扫描电镜、透射
尼龙的种类繁多,本文以最具代表性的尼龙6为主要研究对象,采用比较的方法将样品分类,来探究尼龙6及其共聚物结晶动力学性质。随着高分子表征技术发展,研究材料结晶动力学的手段越来越多,其中,Flash DSC的超快升降温速率能够防止材料在测量过程中的结构变化,保证了实验结果的可靠性。在第一章中,我们主要阐述了高分子的结晶动力学机理。由于本课题主要对尼龙材料进行表征分析,所以本章还介绍了尼龙的结构与性质,
近年来,伴随着政府层面的政策扶持和持续的资金投入,广大乡村地区的建设活动空前活跃。但值得注意的是,由于缺乏对乡村建筑的正确认识,在建设活动中,往往直接套用城市建设的经验与做法,产生了一系列的问题。为此,本文以宁镇地区的乡村建筑和南京市徐家院村的建筑更新实践为研究对象,探讨在宁镇建筑文化圈内,乡村建筑的建造体系及其更新策略,为本地区内其他乡村的建筑更新实践提供理论与实践两个层面上的参考。全文共六个章
作为商业银行中最重要的业务板块,公司业务(对公业务)承载了支持企业和实体经济发展的重任,是绝大部分商业银行收入的主要来源。近年来,伴随着利率市场化、监管驱严、金融脱媒以及互联网金融的崛起,商业银行之间的白热化、同质化的竞争越发激烈,以产品为中心的经营思路和理念早已不合时宜,商业银行的传统业务发展面临着转型压力以及巨大的挑战,尤其是公司业务。业务转型的实质是商业银行在面对复杂多变的内外部环境时而做出