基于自编码器的异常检测模型

来源 :南华大学 | 被引量 : 0次 | 上传用户:tzhblyh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在深度学习中,大部分数据集存在数据冗余和样本分布不均衡问题,导致异常检测准确性下降,降低了异常检测效果。此外,大多数传统的异常检测模型忽略了数据点之间的关系结构信息,不能有效应用到图结构数据中。针对上述问题,研究一种不受不平衡样本数据影响以及将数据间的结构信息高效应用到图结构中的异常检测模型具有重要意义。而自编码器能够重构原始数据,可以自动从原始数据学习所需参数特征,能够有效地解决上述问题。因此,本文主要研究基于自编码器的异常检测模型。本文首先针对大多数数据集存在冗余且样本不均衡问题,提出基于自编码器与XGBoost的异常检测模型(IDAE-XG模型)及相关算法。IDAE-XG模型由数据预处理、特征选择、特征分组和异常检测四个主要模块组成。对原始数据集进行上采样,通过随机森林算法获得最佳特征,减少数据维数。使用AP将降维后的数据进行特征分类,通过正常数据特征训练自编码器(AE),对正常数据进行重构,计算原始数据与重构数据间的RMSE,通过XGBoost进行分类与评价。利用CSE-CIC-IDS 2018数据集进行测试,结果表明,IDAE-XG模型在准确率、召回率等方面比现有主要模型有明显提高。本文然后针对传统异常检测不能有效应用到图结构数据中,提出基于自编码器与图注意力网络的异常检测模型(DAE-GAT模型)及相关算法。DAE-GAT模型由结构自编码器和属性自编码器组成,考虑了数据点的结构和属性,分别学习节点在结构空间和属性空间中的潜在表示,从结构和属性角度学习正常节点的两个超球面。为实现网络结构和属性的联合学习,将二者的数据嵌入作为属性解码器的最终输入,以生成节点属性,通过计算结构空间和属性空间节点到超球中心的距离来检测异常节点。利用数据集Cora、Citeseer进行测试,结果表明,DAE-GAT模型优于现有主要模型。
其他文献
本论文研究从华龙一号核电厂的实际需要出发,为解决国内运行技术规格书存在的一系列问题,通过国内法规、导则、标准的研究,将华龙一号系统设计特点落实到运行技术规格书的设计中,进行了运行技术规格书全新文件体系建立的开创性研究工作,同时开展配套文件的编制原则确立、执行策略研究,并最终设计了满足我国核安全法规导则要求的、完整的运行技术规格书文件体系,并利用概率安全分析的手段,以风险指引技术优化技术规格书的完成
学位
信息大爆炸时代产生的庞大数据资源已经成为重要的生产因素,从海量数据中挖掘因果关系能创造出巨大的科学价值和经济价值,因此,如何高效的探索这些数据中蕴含得因果关系便成为人工智能领域的热点研究之一。尽管科学家们已经在这一研究领域取得了很大进展,提供了相当多的学习因果关系的有效方法,但是在高维数据上的因果网络模型学习仍然存在着巨大的挑战,其中一个长期存在且十分关键的挑战是:现有因果关系检测方法可能会错误地
学位
EAST(Experimental Advanced Superconducting Tokamak)装置是我国自制的全超导托卡马克装置,近期成功实现可重复的1.2亿摄氏度101秒和1.6亿摄氏度20秒等离子体运行。更高的温度和更长的运行时间对辅助加热系统提出了更高的功率和长脉冲稳态运行要求。离子回旋共振加热作为EAST装置中最有效的加热手段之一,而高压直流电源系统的性能直接决定高功率射频发射机系
学位
含铀废水是核工业产生的主要放射性污染物。含铀废水一旦排放到环境中不仅污染自然环境,还会威胁着人类的健康。因此,有效处理含铀废水具有重要意义。金属有机骨架(MOFs)是一种先进的多孔材料,在吸附方面表现出巨大的潜力。UiO-66是水稳定性MOFs材料中最具有代表性的材料之一。具有较大的比表面积和化学稳定性,具有较好的发展前景。但是,UiO-66是一种超细粉末材料,不利于固液分离。而且在酸性条件下Ui
学位
近年来,伴随着网络上的信息数量呈爆炸性增加,信息抽取的研究受到了普遍的重视,而事件检测又是信息提取中的子任务,成为了自然语言处理研究的重点,并出涌现了许多成果。作为自然语言处理中的一种有效手段,依存句法分析能够解析出文本中词与词之间的依赖关系,而图神经网络(GNN,Graph Neural Network)是近年来在自然语言处理领域中的成熟的深度学习技术之一,所以不少学者尝试将二者方法结合以提高事
学位
随着我国互联网和移动通信技术的发展,使得基于互联网的医疗平台,如在线医生系统和医患社区网络,越来越多地被患者和医疗专业人员使用,希望它们能缓解日益增长的医疗服务需求,并减少因地理和社会经济障碍造成的医疗服务获取困难。在这类的平台中,患者可以通过键入他们的医疗问题,说明他们的具体症状和已经采取的治疗手段等信息,建立与医生的对话。完成这个过程后,所有关于医疗问题的关键信息,以及诊断和医疗建议,都会被记
学位
随着互联网技术和信息技术的广泛应用,在线教育平台蓬勃发展,智能导学系统作为一种使用前沿的智能技术,通过计算机向学习者传授知识、提供学习路径规划的个性化学习系统,成为在线教育平台当下的发展目标。智能导学系统能够记录学生的习题作答情况,根据历史答题记录来追踪学生对各个知识概念的掌握程度,针对不同学生的知识状态进行个性化习题推荐,重点关注学生在知识掌握能力上的薄弱之处,提高学习效率。在智能导学系统获取学
学位
<正>北京时间2022年10月1日(北美时间9月30日),特斯拉2022 AI Day在加州帕罗奥图举行,人形机器人擎天柱正式亮相。在此之前,波士顿动力旗下的人形机器人Atlas已经可以走路、跑步、攀爬、跳过障碍,甚至可以在跌倒后自行起身。因此,人们很自然地觉得擎天柱理应比Atlas更加敏捷强悍,甚至能如同科幻电影中的机器人一样“强大”。然而,期望越高越容易失望。当看到擎天柱在台上颤颤巍巍地行走,
期刊
显微图像中细胞核的检测和分割对生物医学研究和临床实践具有重要意义,包括细胞核形态分析、癌症诊断和分级。然而,由于显微图像中存在染色不一致、目标和背景存在显著差异以及人为噪声等特点,再加上在显微图像中大多都是小目标且有覆盖和粘连的情况,从而导致鲁棒、精确的细胞核检测和分割非常具有挑战性。在目前的临床实践中,依靠病理学家手动评估疾病进程不仅需要专业知识,而且手动检查过程主观且耗时。近年来,深度学习方法
学位
静态分析发现软件缺陷是提高软件质量,确保软件可靠性的有效手段之一。近年来,研究使用自动确认技术来降低对疑似缺陷进行人工审查的成本是研究的热点问题。主流技术路线是通过设计一些缺陷特征,并使用机器学习中有监督的分类算法来自动实现对疑似缺陷的确认。其中难点和重点是设计准确性高的缺陷自动确认模型,本文针对如何提高静态分析缺陷自动确认的准确性以及如何将缺陷自动确认方法应用于核电领域做了如下研究:(1)提出一
学位