论文部分内容阅读
云计算具有虚拟化、层次化、动态化和大规模性等特点,因而使其平台监控问题面临着巨大的挑战。其中,针对虚拟化节点的资源监控问题更是重中之重。在实际应用中,对虚拟资源的异常及其发展趋势的分析具有十分重要的意义。本文基于Hadoop云平台研究了云环境下虚拟异常的多属性趋势分析问题。首先,提出了一种基于K-means聚类算法的虚拟机运行状态建模方法,将虚拟机的运行状态分为正常、异常和故障三个等级。主要建模过程包括:(1)设置默认的初始化聚类中心,计算训练数据的Hopkins统计量;(2)利用K-means算法得出聚类结果;(3)如果Hopkins统计量处在[0.4,0.6]区间或存在初始聚类中心未改变的情况,需要进一步对聚类结果的中心点进行修正。本文的虚拟机运行状态建模方法可以适用于不同类型的训练数据。第二,提出了基于非参数CUSUM算法的异常趋势分析机制,其核心是利用非参数CUSUM算法对归类结果为“异常”的后续数据进行状态趋势的监控,以便能提前探测到可能导致虚拟机故障的持续性异常。主要步骤包括:(1)计算小间隔采样数据与“故障”类中心的距离;(2)当检验序列由负变为正时进行异常累加;(3)当异常累加值达到了阈值限制则发出预测报警。并针对文中趋势分析算法的阈值选取和预测时延问题进行了分析。第三,建模阶段结束后通过一组实验评估不同类型训练数据情况下聚类结果的轮廓系数,作为验证聚类结果可靠性的依据。初步检测阶段中选取了KNN算法与本文方法进行了对比,并从复杂程度和适用性两方面进行了分析。趋势分析阶段分别针对单一属性和多属性的情况设计了一系列实验,结果表明本文提出的异常趋势分析模型在预测准确率和预测时延方面有较好的表现。最后,研究了一种基于SPE (Squared Prediction Error)的异常属性定位方法,针对归类决策阶段结果为“故障”的数据点进行异常诊断分析,推断出最有可能引发此次异常的属性,为异常的后期处理提供依据。实验表明基于SPE异常定位的准确性可以达到0.8889。