云环境下大规模时间序列数据的异常检测技术研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:jojoy9912004
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在复杂多变的云环境下,为确保云中的各种应用程序和服务24/7在线,运维工程师需要同时监控实体(集群机器、容器、应用程序等)的多个指标序列(如CPU利用率、请求响应延迟等),确保服务的质量和可靠性。近年不少研究使用深度学习等算法用于时间序列的异常检测,但它们大多数是针对单个指标的异常检测,由于标签数据难以获取,导致监督学习算法难以实施,而无监督算法要么需要大量的正常数据训练,要么具有低准确率,难以满足云环境下大规模时间序列的异常检测。针对上述问题,本文对云环境下时间序列运维数据的异常检测问题进行研究,以能够及时准确地检测出异常并定位异常产生的原因。首先,提出一种实体级别的基于长短期记忆网络LSTM的半监督变分自编码的异常检测算法LR-Semi VAE,利用少量标签带动大量无标签数据一起进行训练,且用变分自编码VAE来学习多元时间序列的复杂分布,使用长短期记忆网络LSTM来建模数据间的时间依赖关系,将分类器预测的标签用于VAE重建输入序列,通过优化ELBO损失函数,使模型在训练过程中关注正常数据,忽略异常数据,且用重建概率分数作为异常检测器。最后,在第三方数据集上对LR-Semi VAE的异常检测性能进行评估,LR-Semi VAE相对于半监督学习算法VAE M2、无监督学习算法LSTM-VAE的异常检测性能分别提高了约30%和50%。其次,针对面向服务体系结构的应用和微服务的异常检测,本文在LR-Semi VAE基础上进一步提出了RT-Semi VAE异常检测算法。RT-Semi VAE使用LSTM来捕捉短期依赖、多头注意力机制Transformer学习长期依赖关系,并根据服务调用链追踪溯源根因实体,且对异常产生的原因做出指标级别的定位,方便运维工程师能及时找到异常根源并采取措施进行修复。实验表明,RT-Semi VAE相较于VAE M2和LSTM-VAE的异常检测性能分别提高约37%和55%。最后,将针对单体应用的LR-Semi VAE异常检测算法和针对服务依赖应用的RT-Semi VAE异常检测算法进行集成,设计一个面向智能运维服务的时间序列异常检测系统原型,包括监控采集时间序列数据、存储数据、融合异常检测算法、异常定位、数据展示等功能。对原型进行测试,从包丢失、内存泄漏和CPU占用等常见的异常类型与已有的其它检测方案进行对比,结果表明能快速准确地检测出异常,细粒度地定位异常产生的原因,在保障服务的质量和稳定性方面具有优势。
其他文献
城市轨道交通是重大公共交通设施,对缓解交通拥堵、引导绿色出行、提升居民出行满意度有着重要作用,但其建设成本高、难度大、周期长,需在全市层面统筹分析轨道线路建设对交通系统的整体影响,从而发挥其最大交通效益。综合考虑片区人口加权的网络可达性指标,提出道路、轨道一体化系统的网络可达性计算方法,并分析东莞市现状轨道、城市轨道建设规划、城市轨道网络规划的网络可达性特征。结果表明:东莞市现状79.20%地区在
期刊
2008年世界粮食危机爆发,世界粮价大幅上涨。众多国家都参与到了海外耕地投资之中,力求通过海外耕地投资提升本国粮食安全水平,海外耕地投资规模快速增长。为更好的促进各国开展海外耕地投资,国际上通过《国家粮食安全范围内土地、渔业及森林权属负责任治理自愿准则》、《农业与粮食系统负责任投资原则》和《负责任的农业供应链指南》对海外耕地投资进行规制。此外,《经济、社会及文化权利国际公约》、《约翰·鲁格指导原则
学位
目的 本文以40名国家手枪射击队运动员为研究对象,回顾性分析自2020年6月28日起至2021年4月21日的982例治疗记录,探讨国家手枪射击队运动员常见伤病的损伤原因、损伤部位,分析其治疗与康复的问题。方法 回顾性分析2020年6月—2021年4月在国家手枪射击队常规训练和备赛过程中的982例治疗记录,由成都体育学院附属体育医院随队康复治疗组通过问询和临床检查等方法记录运动员姓名、性别、身高、体
期刊
为了全面提升船舶安全运行质量,要在船舶检验工作中践行规范化检验分析机制,保证机械故障得以及时处理,从而实现经济效益和安全效益的和谐统一。本文分析了船舶故障检验的意义,并对机械故障原因和表现予以讨论,最后对处理方法提出了几点建议。
期刊
神经退行性疾病是由神经元损伤或坏死引起的中枢神经系统(CNS)不可治愈的疾病,例如阿尔茨海默氏病和帕金森氏病。有趣的是,通常引起呼吸系统感染的流感病毒近来被证实可以引起神经系统症状。由脑微血管内皮细胞(h BMEC)为主要细胞构成的血脑屏障(BBB)在中枢神经系统对抗病原感染中发挥特定的防御功能。为了研究人脑微血管内皮细胞对A型流感病毒的反应,我们用A/WSN/33(H1N1)流感病毒感染人脑微血
学位
我国已经进入老龄社会,养老问题成为国家、社会稳定发展必须解决的重要问题。而农村老年人相比城市老年人,更有收入相对较低、社会保障相对不足的特点,农村养老面对的问题更加严峻。在城乡一体化建设的背景下,建设村镇社会化养老服务是解决农村老年人养老问题的重要举措。民政部作出的社会养老服务体系建设“十二五”规划确立了以居家养老、社区养老、机构养老为格局的基本社会化养老模式,自规划做出以来,我国城市社会化养老服
学位
我国先后出台多项政策来鼓励和支持锂离子电池行业的发展,我国的锂电池技术和产业也逐步从无到有,产业规模不断扩大。随着电子行业以及便携式设备的飞速发展,锂离子电池作为便携式设备常用的能量源也得到广泛的重视,而钴酸锂电池因能量密度高、循环性能好等特点,在体积要求高的移动终端电池领域占据较大的市场份量。电池的电量状态(SOC)与健康状态(SOH)是电池管理系统中极其重要的参数,对于用户体验与运行安全都具有
学位
电池电量控制问题一直都是影响新能源汽车普及的重要因素。针对当前新能源汽车电池电量控制系统因电池数据采集能力不佳,导致电池电能均衡控制效果较差的问题,设计基于本地模块的新能源汽车电池电量控制系统。在系统硬件框架中增设本地模块,对中央控制器以及电池检测集成模块设备组成进行优化,为软件模块提供开发环境。使用卡尔曼滤波算法,增强电池剩余电量预测模块的计算精度。使用传递函数法对电池的工作状态进行分析,根据分
期刊
国内外有许多成功运用自然进行教育的案例,在自然教育领域有许多研究和实践。如广东珠海的湿地教育、国家森林公园教育和吉林省向海自然保护区环境教育等。通过对以上自然教育的实例进行综述,发现自然教育在世界各地的实践成果有一定的相通。利用自然物和自然环境实施教育,可提供给我们可取的教育启示。在我国的大部分地区,城市化和现代化的高速发展,电子设备的普及影响自然发挥的教育功能,儿童缺少实际接触自然的机会,只能从
期刊
<正>统编小学语文教材三年级下册第七单元的习作《国宝大熊猫》要求“参考下面图表中提供的信息,也可以再查找资料,补充其他内容”。这是一种典型的“重在利用原始材料或特定领域的重要先在知识”的“基于文献的写作”(Source-Based Writing)[1],其与传统的基于个人经验的写作有很大区别。
期刊