基于深度学习的系统日志异常检测技术研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:yourwp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
系统日志广泛应用于各类软件系统之中,它能够记录系统的运行状态信息以帮助管理员对软件系统进行调试和分析。在系统安全领域,对系统产生的日志进行分析和挖掘以实现对系统的异常检测是一种常用的安全防护手段。然而,随着计算机软硬件的快速发展,软件系统的规模逐渐变得十分庞大,其产生的日志数据也急剧增加。因此,在海量日志数据集上进行人工标记已变得不再现实。目前已有许多研究针对日志异常检测提出了不同的检测方案,并且随着深度学习的广泛应用,使用深度学习的神经网络模型进行日志异常检测已经逐渐成为主流方法。但是,系统行为模式的复杂性以及系统的更新迭代性会严重影响深度学习异常检测的有效性,从而降低深度学习异常检测方法的可用性。本文针对深度学习应用于系统日志异常检测所存在的问题进行了改进和优化,具体研究内容如下:(1)基于日志模板主题特征的检测方案(TFAD):该方案针对日志模板数据预处理部分进行改进,提出了一种基于日志模板主题的日志模板主题分类模型。在该分类模型中,本文引入了LDA主题模型以实现对日志模板进行主题分类。当使用该日志模板主题分类模型对日志模板进行主题分类预处理后能够大幅提升异常检测方案的有效性。在优化方案ETFAD中,本文通过将LSTM循环神经网络模型替换为GRU循环神经网络模型并在模型基础上加入selfattention机制提高了日志异常检测的准确度。最终,提出了一种检测准确度更高、新日志模板注入鲁棒性更强的基于深度学习的日志异常检测方案。(2)基于并列GRU分类模型的检测方案(DGAD):该方案针对现有基于深度学习的日志异常检测方法仅捕捉序列上下文特征异常的问题,提出了一种基于并列GRU分类模型的日志异常检测方案。在该方案中,本文针对序列特征异常和频度特征异常设计了一个并列GRU分类模型,该模型能够同时输入日志模板滑动窗口和对应的日志模板频度向量,并且输出当前输入所对应的预测结果。通过判断下一时刻的日志模板是否属于模型预测结果的候选集以决定当前日志序列是否存在异常。最终,提出了一种能够同时对日志序列上下文特征和频度特征进行检测的基于深度学习的日志异常检测方案。(3)基于TFAD方案设计并实现日志异常检测原型系统:通过分析目标系统的设计需求,自底向上、模块化对原型系统进行设计与实现。并且通过在现有真实数据集上和现有同类主流方案进行实验对比分析以证明本文所提出的方案能够实现准确度更高、新日志模板注入鲁棒性更强的日志异常检测功能。
其他文献
过氧化氢(H2O2)是活性氧家族的重要成员之一,是植物胁迫响应以及健康状况的关键信号分子。因此,准确检测植物细胞内H2O2含量的波动,对于监控植物的健康状况具有重要意义。传统的H2O2检测方法主要有化学发光法、分光光度法和电化学法等。这些方法可以准确检测H2O2含量,但往往存在可逆性差、不能实时原位监测等问题。而且这些方法需要专业的技术操作和仪器设备,不利于田间应用。本文基于聚集诱导发光(AIE)
学位
在“碳达峰、碳中和”目标下,分布式可再生能源作为重要的清洁能源,保持迅猛发展之势。与此同时,随着热电联产机组和储热装置的快速发展,电力系统和热力系统之间的信息交换和能量耦合日益加深。在此背景下,热电联合虚拟电厂将热电联产机组、分布式发电资源、储能设施等聚合为可控集合体参与电力市场交易及电力系统运行,能够有效促进新能源消纳,具有广阔的发展空间。然而,热电联产机组“热电耦合”特性使得供热期间热电联合虚
学位
背景和目的:心脏瓣膜钙化(Cardiac valve calcification,CVC)在慢性肾脏病患者(Chronic kidney disease,CKD)中的发病率较高,尤其是在终末期肾病(End stage of renal disease,ESRD)患者中。本研究以透析初始合并CVC情况作为切入点,探讨维持性血液透析(Maintentance hemodialysis,MHD)患者在透
学位
学位
随着恐怖主义和地区武装冲突的升级,人员密集活动场所的公共安全问题日益受到世界各国的关注。应用主动毫米波技术的阵列成像系统是应对这类安全问题的有效手段。X光成像仪被质疑对人体的身体健康有影响。工作在毫米波波段的阵列成像系统能够在不影响身体健康的情况下穿透薄层介质实现对隐蔽物体的高精度成像,在毫米波波段反射率较小的非金属物品也能实现很好的成像效果。毫米波波段虽然分辨率较高,成像效果较好,但是毫米波波段
学位
学科核心素养作为学科育人价值的集中体现,不但凝聚着一个课程的教育价值,也充分体现着学生的价值观念、必备品格和关键能力。为满足新时期社会发展对德才兼备人才的需求,新课标中明确提出,高中思想政治课应将培养和提高学生的政治认同、科学精神、法治意识和公共参与作为思想政治学科的核心素养。其中,高中思想政治课应将政治认同作为首要素养来培育,努力培育一个个合格的社会主义建设者和可靠接班人。本文主要分为前言、正文
学位
随着北斗三号卫星导航系统(Bei Dou-3 Navigation Satellite System,BDS-3)的正式开通服务,标志着北斗卫星导航系统(BDS)的全面建成。针对BDS-3定位技术的研究成为热点之一,精密单点定位(Precision Point Positioning,PPP)以其高精度、高可靠性、稳定性和灵活性成为BDS中广泛应用的精密定位技术。BDS全星座播发的三频信号,对PP
学位
本论文主要研究了具有高折射率的极化量子点和荧光下转换层对于硅异质结太阳能电池性能的影响。硅异质结电池相较于传统硅电池具有转换效率高、制备工序少的优势而极有可能成为下一代投入大规模应用的太阳能电池。其中,后发射极硅异质结电池具有一系列优势引起了很大的关注与研究。但是在这种电池结构中少数载流子需要在电池背面被收集,使得少子对前表面场钝化要求很敏感。增加掺杂非晶硅层的厚度虽然可以提高前表面场钝化,但是会
学位
本论文以农林废弃物甘蔗渣生物质为原料,在600℃、N2氛围下制备普通甘蔗渣生物炭(BC),同时对甘蔗渣生物质进行改性,制备锰基改性甘蔗渣生物炭(MBC)和铁锰改性甘蔗渣生物炭(FMBC)。通过一系列表征手段分析改性前后生物炭的理化性质,证实改性生物炭成功制备。进行钝化试验,分别研究了两种改性生物炭材料对红壤中重金属Pb、Cd的钝化效果,阐明两种改性生物炭对重金属的作用机制。进行盆栽实验,探究两种改
学位
随着元宇宙时代的到来,数字化产品不断更新,越来越多的品牌利用虚拟现实技术进行品牌营销,虚拟现实广告成为流行。虚拟现实技术由于身临其境的技术特征,在增强享乐方面效果显著,但在品牌传播效果上,还有很大的提升空间。针对创造有利于品牌个性传播的虚拟现实品牌体验环境,对虚拟现实广告的有效性进行分析。通过设置不同条件的虚拟现实品牌感官体验,验证虚拟现实技术对品牌个性传播造成的影响。设计策略立足于品牌个性的感官
学位