面向网络流量的分布外异常检测技术研究

来源 :车佳臻 | 被引量 : 0次 | 上传用户:xingzhewei1123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的不断普及,其应用逐渐覆盖了各个方面。机器学习是实现人工智能最有效的方法之一。机器学习是使用算法来解析数据,从中学习,并对真实世界的事件做出决策和预测。深度学习(DL,Deep Learning)是机器学习领域的一个新的研究方向,深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征,在搜索技术,数据挖掘等相关领域取得了很多成果。深度学习在科学和工程领域同样获得了广泛的应用,例如生物信息学,医疗保健,网络安全等等。在这些领域中深度学习主要被用于做出一些重要决策。但是,实际工程当中并不能保证输入的数据都是已知的。根据研究显示,深度学习会错误的将一些未知类别分类为高置信度的已知类别,这些未知类别也被称为分布外数据(OOD,Out-of-Distribution)或异常。在某些领域中这些误分行为将会导致严重的后果。因此,如何检测出测试样本中的未知类别数据是非常有必要的。本文主要研究了面向网络流量的分布外异常检测技术,根据分布外数据的特点,分别提出了基于计算似然比的检测方法和基于马氏距离的检测方法。首先基于计算似然比的检测方法,通过训练两个模型来提高分类的可信度。使用分布内数据训练原始模型,通过对分布内数据加入噪声模拟OOD数据并以此训练扰动模型,从而计算样本通过两个模型的似然比判断是否属于OOD数据。由于基于计算似然比的方法过多依赖超参数,因此进一步提出了基于计算马氏距离的检测方法,通过计算原始样本和测试样本的马氏距离得分判断测试样本中是否含有分布外数据。为了测试本文提出的两种测试方法,通过使用公开流量数据集和采集的数据,分别使用BP神经网络,卷积神经网络,朴素贝叶斯,决策树,支持向量机等机器学习算法训练原始模型和扰动模型。实验结果显示,在第一种方法中,支持向量机算法得到的性能最佳,识别准确率可以达到92.1%,第二种方法的准确率也可达到95%。最后本文设计了一个原始模型更新系统,该系统会识别出测试样本中的分布外数据类型并将此加入到原模型中,提高原模型的鲁棒性。
其他文献
学位
学位
学位
学位
随着科学技术的不断进步、全球经济的快速发展和消费者需求的逐步升级,我国服装市场的竞争愈发激烈。为了快速响应市场需求,企业大量生产符合消费者偏好的商品。然而,受季节因素的影响,服装行业产品具有生命周期短、预测难度大的特征。当产品库存大于市场需求时,很容易因产品过季而导致库存积压的问题。相反,商品短缺又会影响消费者体验。因此,服装企业应采用科学合理的库存管理方法来控制库存成本,以此增加其市场竞争力。本
学位
学位
党的十九大报告中提出,共享共治的社会治理模式应提高社会治理的社会化、法治化、智能化和专业化。2017年6月,国务院《关于加强和完善城乡社区治理的意见》提出,到2020年,实施“互联网+社区”行动计划,加快互联网与社区治理和服务体系的深度融合,指出“务实推进智慧社区信息系统建设,积极开发智慧社区移动客户端”。2022年民政部、中央政法委、中央网信办等9部门印发《关于深入推进智慧社区建设的意见》,明确
学位
学位
党的十九大提出了政府要职能转变,要加快简政放权,要不断创新政府监督方式和方法,提高民众对政府的信赖,建设服务型政府。近年来,一些地方政府逐渐意识到政府与民众之间的沟通存在严重的障碍,积极寻找对策来解决政府民众之间的良性互动,市民服务热线(政府服务热线、12345市民服务热线等)就是在这种背景下应运而生。四川发布了《四川省推动“互联网+政务工作”实施网络信息惠民项目方案》明确提出了要实现普通市民办理
学位
学位