大规模集群系统日志分析与失效预测研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:yunshan1990
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机系统规模越来越大,用户对计算机系统的可靠性和可用性要求越来越高;集群系统因其良好的性能、易构建性和可扩展性己成为大规模生产性计算平台的首选。但大规模集群系统的系统错误和失效也成为一种常态,集群系统的可靠性与可用性问题成为集群系统应用的一个重要障碍。   系统日志的事件序列模式是系统日志中频繁出现的有序事件序列,事件序列关联规则是在事件序列模式基础上满足一定主客观兴趣度的事件关联知识。本文通过挖掘大规模集群系统日志的事件序列模式和关联规则,分析日志中失效前的征兆事件和失效之间的关联和规律,并将事件关联知识用于系统事件预测和失效预测。本文的主要贡献如下:   (1)提出和实现了基于重叠窗和事件密度自适应滑动窗口的日志划分算法。本文首先在滑动窗口模式中引入事件密度概念,避免由于滑动窗口中事件数目过大引起序列模式挖掘时空复杂度急剧增大的情况;然后使用结合重叠窗的事件密度自适应滑动窗口的日志划分方法来生成事件序列库,能防止将几乎同时发生的多条事件截断到两个序列中去。   (2)结合日志时间局部性提出了PrefixSpan-ESD序列模式挖掘算法,实现了强事件序列关联规则和失效事件序列关联规则的挖掘和分析。基于主客观评价指标,本文定义强事件序列关联规则同时满足最小支持度和最小置信度阈值,失效事件序列关联规则最后一个事件的类型为失效类型。实验结果表明,基于PrefixSpan-ESD的关联规则挖掘算法在一次扫描时可生成多元事件序列模式,关联规则的分析时间为Apriori-T算法的10%-20%,适用于分布式并行挖掘,提高了规则分析的时空效率。   (3)根据事件序列关联规则进行日志事件预测;从事件序列模式聚类中挖掘出事件之间的因果关联路径,抽取出失效模式用于失效预测。将事件序列关联规则用于事件预测的准确率、召回率和F-measure值表明,PrefixSpan-ESD挖掘算法比Apriori-T和Apriori-S算法得到规则用于预测的效果更好;将失效模式用于失效预测,能显著提高失效预测的召回率。
其他文献
随着集成电路设计规模的增长和制造工艺的不断进步,高性能处理器芯片在测试和验证等方面面临着日益严峻的挑战。可测试性设计(Design for Testability,DFT)用于提高测试覆盖
随着社会化网络和高性能计算的高速发展,海量存储的需求日益增长。提供海量存储服务的大规模机群文件系统正在得到产业界和学术界越来越多的重视。在网络带宽和CPU性能迅速提
随着集成电路制造工艺步入超深亚微米(very deep submicron,VDSM)和纳米(nanometer)阶段,芯片的缺陷密度不断上升,快速的成品率学习(yicld learning)有助于迅速提高芯片的成
激光标刻技术是激光技术的一个重要应用,目前已被广泛地应用到各个领域,从产品标识,到激光防伪,甚至到一些高新产品的制造中都或多或少地留下了激光标刻的痕迹。虽然目前激光标刻
污水是一种广泛存在的水体,逼真地展现污水可以给用户带来更真实、奇幻的视觉体验。污水含有丰富的污染物质,使其表现出浑浊状态,还会因为污染物质种类和浓度的不同,呈现不同
HDAudio高清音频协议是新一代音频协议。该协议具有高可靠性和灵活性的特点,为现代的计算机系统提供必要的音频接口,被广泛应用于PC和高性能的嵌入式系统中。HDAudio高清音频
随着我国研究生教育的迅猛发展,普通高等学校的招生规模越来越大,这就使得研究生数量上和种类上都得到了扩大和充实,与之同时的研究生信息化建设也迅速发展,这就使得研究生管理信
高速增长的网络链路速率(OC768,40Gbps)给IP查找的吞吐量带来了巨大的挑战。另外,路由表规模急剧增加,而虚拟路由器导致路由表规模进一步扩大,这给IP查找的存储资源带来了严
随着互联网技术的高速发展,信息技术为传统通讯业务带来了更丰富、更高效的实现手段。IT(Internet Technology信息技术)与CT(Communication Technology通讯技术)在逐渐融合中
实时车辆监管系统是一种用于对在城市道路上行驶的车辆进行实时监控和管理的系统,是城市道路交通管理的重要工具。   随着监控范围的不断扩张,原有集中式的数据处理方式已