应用系统监控指标异常检测方法研究与应用

来源 :大连海事大学 | 被引量 : 0次 | 上传用户:stone601287990
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算、大数据的迅速发展,应用系统提供的服务不断多样化,复杂软硬件系统运行状态的监控指标数据呈现出形态多样、随机性强、复杂相关性等特点,对异常检测方法也提出了更高的要求。当前对于监控指标的异常检测方法大多是针对单一指标或某一实体进行监控,并采用固定异常阈值的方法检测异常。由于故障传播等指标数据的特性,大部分方法不能有效的检测应用系统在运行中出现的异常,且不能对异常告警原因进行解释。针对上述问题,本文设计了一种具有高准确度的面向应用系统监控指标的异常检测方法,并基于该异常检测方法提供了异常解释,设计与实现了异常检测系统。具体工作如下:(1)根据应用系统运行状态发生异常时各层监控指标数据均发生不同程度的突变这一特点,设计了一种应用系统监控指标异常检测方法,将CNN(Convolutional Neural Networks)、SE(Squeeze and Excitation)和GRU(Grated Recurrent Unit)神经网络融合作为监控指标数据特征提取结构,以VAE(Variational Auto-Encoder)为框架,将重构概率作为异常得分,利用极值POT(Peak Over Threshold)模型拟合重构概率分数极值的分布,实现动态确定最优异常阈值,从而减少异常检测对数据标签和运维经验的依赖,提高异常检测的准确性。为进一步说明异常检测结果的可信性,设计异常解释方法,根据重构概率分数计算相关系数得出原因指标列表,也为系统状态异常提供原因解释。(2)结合实际运维需求,设计并实现了一个异常检测系统,提供了完整的异常检测与解释流程。系统主要分为四个模块,指标管理模块提供指标信息的查询与下载等功能;异常检测模块提供数据的上传、定时采集、异常检测以及结果操作等功能;异常解释提供解释系统状态异常原因以及结果操作等功能;任务管理模块负责对异常检测和解释任务的日志信息进行操作。(3)实验结果表明,所提异常检测方法在公开数据集上进行的异常检测任务的F1评分达到91.6%,优于目前先进的异常检测方法。设计的异常解释方法的准确性也优于目前的异常解释方法。通过设计测试用例对系统进行了功能测试,证明了系统的可用性。
其他文献
在建设海洋强国战略背景下,由于远洋运输具有稳定可靠、运载货物量大等特点,航运事业已经发展成为我国进出口贸易的主要运输形式。近年来随着世界贸易及我国经济的飞速发展,来往于全球航线上的各类远洋船舶却带来了外来生物入侵等较为严重的生态环境问题:船舶压载水中含有各类浮游生物、细菌及其它微生物,如不经过检测处理必定会对其接收处的海洋环境造成灾难性影响。由于微藻是船舶压载水中所含的主要生物,所以对其检测处理是
学位
汽车底盘的异物检测对于公共安全具有十分重要的意义。汽车底盘夹带危险品和违禁品,影响着人民生命财产安全和社会稳定。现有的相关车底检测的技术主要依赖于人工检测和二维图像检测,容易出现漏检情况。本论文面向行驶汽车设计了汽车底盘的三维成像系统,研究了汽车底盘多目相机三维重建算法。具体研究情况如下:设计了基于五目相机的汽车底盘图像采集系统方案。图像采集系统与车辆行驶方向垂直放置,车辆在系统的上方通过时,相机
学位
我国作为苹果的生产大国,目前在苹果分拣和质量检测环节,多用人工分级和机械分级,人为影响因素多,费时费力,并且由于分级标准不统一,导致最终检测结果准确率并不高。因此,如何快速、准确、客观地进行苹果分级,成为目前分级领域的研究重点。而在苹果品质检测方面,国内外虽也进行了一些研究,但大多仅停留在对苹果的内部成分进行检测与分析,如硬度、PH值等,且检测价格高昂。对于消费者而言,不仅希望得到外观美丽的苹果,
学位
近年来随着长江沿江经济和航运业的快速发展,船闸货运量不断攀升,三峡、葛洲坝船闸成为长江中上游重要节点的水利枢纽。但由于船闸的满负荷、超负荷运转使用,其结构安全隐患也愈加明显。船闸人字门在复杂的深水环境中频繁启闭,受低速重载的工况条件、闸门两侧巨大水压及启闭机运行状态的影响,会引发门体小位移量的跳动,产生门体共振、应力集中释放的情况,损伤门体结构,严重时将会发生门体病变,影响通航效率并造成严重的经济
学位
伴随社会的不断发展,高速里程数不断增长,道路管理与维护的需求也日益增长,若不及时对路面破损进行处理,路面破损与自然灾害相互作用形成恶性循环,威胁人们的行车安全。传统的人工检测效率低、检测速度慢、误差较大。由于路面中存在的诸多干扰,现有的路面图像处理算法误检较多,难以运用到实际的路面检测。根据实际路面破损检测中存在的多种挑战,本文研究了一种用于解决复杂干扰条件下的路面破损检测算法。该算法有效减弱了路
学位
随着海上交通的不断发展,船舶流量的增加给海上管理带来了巨大的挑战,对近海及远海船队无缝监测成了海上监管的重要问题。本文基于企业的项目,实现近海船队的岸基整体监控,以及远洋船队船之间的信息一体化功能。本文利用嵌入式技术、数据采集技术、无线通信技术,设计实现了一种基于嵌入式的船舶信息采集及传输系统,该系统以软硬件结合的方式,采集船队内各船只的加速度、角速度、角度、磁场、经纬度、卫星定位、水平和垂直位置
学位
无透镜数字全息显微成像系统具有体积小、成像视野大、可通过计算机处理图像信息、方便携带等优点,在微生物检测、医学研究等方面有较大的应用前景。在无透镜数字全息显微成像系统中获取准确的离焦距离是无透镜数字全息显微成像获得清晰的重建图像的关键。本文研究的基于无透镜数字全息显微成像系统的自动聚焦算法通过数学计算得到全息图像准确的离焦距离,无需使用外部硬件获取成像物体离焦距离,成功实现了准确、便捷的自动聚焦。
学位
目标跟踪是计算机视觉领域中的研究热点,被广泛应用于我们的生活中。目前基于深度学习的目标跟踪方法取得了巨大的成功,然而在跟踪过程中存在诸如背景杂斑、低分辨率、尺度变化、目标形变等干扰因素,使得在目标跟踪上的研究依然存在许多挑战。为了解决上述问题,本文以孪生神经网络模型为理论基础,结合在实际跟踪环境下的挑战,提出了两种具有创新性的高性能跟踪算法,具体的研究内容以及成果概括如下:(1)提出一种基于注意力
学位
在常规自适应算法中引入泄露因子的Leaky LMS算法能够有效的减轻权值漂移,减小算法达到稳态的均方误差,Leaky LMS算法一般应用在高斯环境中。Leaky LMP被推广应用在非高斯噪声环境中。本文在已有研究的基础上,对Leaky LMP算法进行扩展,研究Leaky自适应滤波器的LMS与LMP混合算法的瞬态、稳态和跟踪性能。在未知训练序列情况下应用CMA算法的盲均衡器能够精准的补偿信道特性,完
学位
伴随着互联网的飞速发展,如何表示与规划互联网中的知识成为了当下研究的焦点,这使得知识图谱应运而生。但是,目前的知识图谱仍旧处于发展阶段,尚未达到完善的程度。虽然知识图谱中含有大量的知识,但对于一些冷门的或者不常用的知识,其覆盖率依旧不足。目前的知识图谱中的知识均使用RDF三元组——即<头实体,关系,尾实体>——的形式表示,无法使用这个形式表示的知识就无法加入知识图谱中,这使得知识图谱的刚性非常大,
学位