基于频繁模式挖掘的运维知识提炼系统的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:pantherzzx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的蓬勃发展,系统采集指标数量不断增加,业界产生了海量的运维数据,人们已经难以从海量数据中提炼出知识,形成专家经验,作为传统运维方式阈值设置的参考依据和作为分析告警原因和查询监控指标间关联的凭证。因此,如何通过数据挖掘相关方法,提炼运维数据中有效信息是当前的研究热点。频繁模式挖掘是一种有效的数据挖掘方法,但是面向特征复杂的运维数据,传统频繁模式挖掘算法的挖掘结果不够全面,挖掘效率低下。鉴于此,本文提出一种将频繁模式挖掘应用于运维数据挖掘的框架,以不同的方法进行挖掘不同特征的运维数据,提高提炼运维知识的有效性和效率。针对多维密集型的监控指标数据,首先,提出一种适用于所有指标的离散化方法将监控数据离散化,然后,定义并提出跃变频繁模式挖掘方法,作为传统挖掘方法的补充。针对稀有且聚集的告警数据,本文提出一种不完全最长序列模式挖掘方法,用于高效提取频繁告警序列,辅助告警排查。本文的主要研究内容如下:1.监控指标数据的知识提炼。针对频繁模式挖掘算法无法处理连续型数据和传统频繁模式和序列模式挖掘算法挖掘的监控指标数据结果不全面的问题,本文首先利用聚类算法结合箱型图法剔除异常数据,并使用趋势预测算法填充缺失值;然后,基于峰值检测、滤波的思想,提出一种通用的分布检测算法来提取海量指标的数据分布区间,以此将数据离散化;最后,挖掘并融合传统频繁模式和序列模式,形成一种跃变频繁模式,作为传统频繁模式和序列模式的补充,使用户更直观的了解指标变化对系统造成的影响。2.告警数据的知识提炼。针对传统最长频繁序列模式挖掘算法挖掘稀有且包含大量长频繁项的告警数据的耗费时间长的问题,提出了一种不完全最长序列模式挖掘方法。该方法简化了最长序列模式挖掘算法的搜索候选集中非最长序列模式的过程,提高了告警数据运维知识提炼的效率。3.系统实现与部署。设计并实现了基于微服务架构的运维知识提炼系统,该系统集成了数据预处理、监控指标数据频繁模式挖掘和告警数据频繁模式挖掘模块,并根据实际业务需求,实现了历史数据分析和在线数据检测功能,有效提高了运维智能化水平。
其他文献
传统的初中生物学教学注重知识的传递和习得,但习得知识并不等于发展能力.按照提炼概念→分层分类→连线构图→展示交流→评价改进的步骤构建概念图的策略,不仅能促使学生能动地建构知识,而且能发展学生获取关键信息、分析分类、逻辑思维、合作沟通、表达反思等个人持续发展所需的关键能力,从而使知识的习得和能力的发展在课堂教学中得到统一.
在信息化时代,各行各业面临的繁杂数据信息使得人们获取有效信息的要求越发迫切。推荐系统作为一套有效的信息过滤机制,能够满足人们个性化的信息需求,因而得到了广泛的运用。但现有的大规模推荐系统仍然存在两个亟待解决的问题。其一是系统中用户固有的特征属性与物品的特征信息得不到充分利用,导致推荐系统仍存在预测准确性不高与冷启动问题。其二是在推荐系统的排序阶段,在广告点击率(Click-Through Rate
<正>【写在前面】小箱子:自从上次做了一期关于各科学习的干货篇后,小箱子收到了好多关于学习的提问呀,既然大家这么热情,那就再做一期写作篇的问答吧,大家还有学习问题都可以问呀!"如何描述一个精彩的场景,比如武打场面?"啊哒哒:可以不描述环境,通过简单精炼的语言对话来让读者联想场面的激烈。
期刊
知识图谱的特点是具有特定的关系结构,其可以非常便利的刻画现实生活中的本体知识、实例和实例之间存在的关联。图结构将网络上的资讯关联成人们所学习的知识,其是一种更优秀的组织和管理的解决方案。有限的使用场景和方法限制了知识图谱的大范围应用。目前行业领域知识图谱非常少,其次各个行业领域对知识图谱的理解、关注角度不同,因此建立的知识图谱很难融合,也为在其上的应用带来了困难。本文为研究构建行业知识图谱的方法,
<正>好的作文开头,有沁人心脾、赏心悦目的功效,能让读者耳目一新、为之一振。然而,万事开头难,最初下笔写的时候也是最艰难、最焦灼的时候。写作文要有写好开头的意识,也要有写好开头的方法,一旦打开了思绪,常常能文思泉涌,下笔千言。作文开头需要有三个意识:紧扣材料、回答提问、阐明观点。紧扣材料,是要求我们写作时,写作的动机和出发点有理有据,有材料依托。紧扣材料是在传达一个信息:我的作文是在题目材料的阅读
期刊
针对某厂带有SSS离合器的300 MW级“凝汽-抽汽-背压”(NCB)式汽轮机纯凝运行模式下的轴系振动故障,进行了振动矢量计算、轴瓦温度分析和可倾瓦工作原理分析。计算与分析发现,振动是由高中压转子残余不平衡量、轴瓦载荷较轻、轴瓦瓦块调节性能差等多因素导致。提出提高轴瓦载荷、更换轴瓦瓦块并进行现场轴系动平衡的振动处理方案。运行结果表明:与振动处理前相比,高中压转子高压排汽侧支撑瓦的振动波动现象消失;
随着大数据时代的到来,每天都有海量的数据通过数字设备产生。机器学习作为需要大量算力和资源的计算任务,能够帮助用户挖掘数据中潜在的信息,并为用户的决策提供建议。然而许多用户受限于有限的本地资源,无法支持大量数据的存储和计算。云计算作为一项快速崛起的技术,能够提供海量的存储资源和充足的计算能力,然而云服务提供商并不总是可信的,外包计算的安全性成为人们日益关注的重要问题,因此如何设计有效的安全外包计算工
托尼·本尼特的博物馆理论探查到博物馆在文化以及教育方面的重要重用。虽然博物馆在发展过程中已进入公众领域,但其和人们之间还存在一定的距离。新媒介的出现使得博物馆中的展品出现在节目中,让人们近距离身临其境感受到博物馆中的藏品,同时也拉近了人们和博物馆之间的距离,进一步扩大了博物馆的文化与教育意义。
随着人类对空间的探索以及对更快速交通工具的追求,更加高效和安全的飞行器设计变得更加被人们需要。飞行器设计作为空气动力学的一个应用,是当代最重要的学科领域之一。空气动力学是研究空气的运动规律以及空气与物体之间的相互作用力的科学。现代飞行器设计过程不仅运用到了空气动力学的基本原理,还和计算机相关技术进行了结合。机翼是飞行器产生向上升力的重要组件和来源,它通常具有以机身作为中轴的对称面。从垂直于机翼对称
<正>开展游戏活动不仅可以帮助幼儿认清世界,还能提升自身的技能,而教师在开展游戏活动时,简单的场景布置以及材料的投放并不算太难,但是怎样科学地布置场景以及合理地投放游戏材料,成为幼儿园开展游戏活动主要考虑的问题。本文重点介绍了区域环境创设以及材料投放的策略,促使各教师高度重视,以此来促进幼儿教育水平的提升。
期刊