基于深度生成模型的无监督异常检测算法研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:sxquan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
异常是指各种不符合估计或违反常规条件的数据或行为,广泛存在于如信用卡消费中欺诈行为、数据库中数据泄露、网络入侵以及工业控制系统等各应用领域中。异常往往比正常所携带的信息更多也更为重要,比如设备运行异常则意味着系统可能存在故障或被人为恶意攻击。因此,快速准确地检测出系统异常,对保障信息基础设施的安全,有着重要的现实意义。针对当前无监督异常检测算法对于不同类型的高维数据检测效果差的问题,本文在通过深入探究无监督异常检测方法和深度生成模型后,提出了基于深度生成模型的无监督异常检测算法,用于处理不同类型的数据,提高了异常检测的准确率。本文采取的主要方法和创新之处如下:(1)提出了一种不需要过多先验知识的无监督异常检测模型,采用序列覆盖算法计算数据之间的相似性,通过多层聚类算法建立正常数据模型。模型在4个ICS数据集上进行了实验,平均检测率为96.7%,误报率为0.7%,能有效提高检测率,降低误报率。(2)针对当前无监督方法很少利用系统中多个变量之间的时空相关性及其依赖关系来检测异常等不足,将一维卷积神经网络(1D_CNN)与门控递归单元(GRU)结合,充分学习传感器和控制器的参数值在时空上的相关性,构造了一种预测工业控制系统中传感器/控制器参数预测的网络模型。模型在SWa T数据集上进行了验证,实验结果表明,可较好地实现工业控制系统的异常检测,平均准确率为0.99,召回率为0.85,F1值为0.91。(3)由于基于生成模型的异常检测算法是利用样本的重建损失进行异常检测的,但该方法存在两个不足:一是生成模型的泛化能力过强导致部分异常的重构损失较小;二是背景信息会干扰异常值的计算,本文构建了一种MHMA(Multihead Memory Autoencoder)异常检测模型,采用变分自编码器作为生成模型,使用多头结构将解码器的最后一层划分为多个分支,以学习和生成一个多样化的样本分布,通过结合生成对抗网络将模型的泛化能力保持在合理的范围内,最后通过似然比方法在计算异常值过程中去除背景信息的干扰。实验结果表明,与主流模型相比,MHMA不仅提高了异常检测的效果,而且具有更好的通用性。
其他文献
随着城市轨道交通(俗称地铁)行业的发展,人们的生活也在发生着日新月异的变化,这不仅表现在提高了市民的出行效率、扩大生活圈,也对生活中的方方面面都有着直接或间接的影响。本论文以南昌地铁为例,对于地铁建设的不同阶段对站点周边住宅价格所表现出来的外部性进行分析研究,估算地铁对周边住宅价格带来的具体增长量。同时,从南昌地铁建设方南昌轨道集团的角度出发,对南昌地铁表现出来的正外部性提出相关的建议措施以实现外
四环素(Tetracycline,TC)因其优越的抗菌性能、低廉的价格等优点,被广泛应用于人类和动物的感染的预防和治疗中,但因其含有多个苯环、分子量大且其化学性质稳定不易被降解。过硫酸盐高级氧化技术因其产生的硫酸根自由基(SO4-·)半衰期长、适应的p H值范围广、对污染物的选择性强,不易受到水中无机离子的影响等优点而受到广大研究者的关注。过硫酸盐高级氧化技术主要分为均相反应体系和非均相反应体系,
学位
网络信息技术发展和高新技术产品的普遍应用,众多行业获取的信息数据在数量和内容上都在飞速扩增,信息数据呈现高维度、复杂化的特点。高维的数据给数据存储和相关应用带来了巨大的压力,这些信息数据中既有丰富的有用信息特征,也包含大量不相关和冗余的特征以及噪声。直接处理这类原始数据会面临“维数灾难”的问题,这将极大增加模型的计算开销,而且模型在高维数据上容易出现过拟合,导致模型实际性能不理想。此外,现实中获取
中山市持续推进城乡融合发展,推出了11条特色精品示范村,在以人为本、共建共治的理念指导下,各个示范村积极调动村民积极性,推动美丽乡村建设以及农业农村现代化,探索出乡村振兴中山经验。中山市持续推进城乡融合发展,全面推进乡村振兴。为此,中山市印发了《中山市领导挂点联系特色精品示范村创建工作方案》,中山市领导挂点特色精品示范村,
期刊
学位
学位
学位
不同的云型反映了不同的大气情况及发展变化,预示着未来的天气变化过程,例如直展云通常与危害性天气相关。气象卫星具有时间连续、空间分辨率高、覆盖范围广等优点,可提供更多光谱信息。因此,自动识别卫星云图是遥感领域的研究热点之一。早期的云分类方法都以光谱通道的特征数据为主进行云分类。然而,仅使用光谱特征对卫星云图分类时,存在不同云类的光谱特征相同、同一云类光谱特征不同的问题,分类效果不太理想。考虑使用卷积