基于联邦学习的异常流量监测方法研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:cg120900230
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络异常流量检测是抵御恶意攻击、保护网络可用性和隐私安全的重要手段,对于维护网络安全有着至关重要的作用;而基于流量分类的方法是网络异常流量检测任务中的重要方法之一。近年来,基于表征学习的流量分类方法由于无需人为提取特征、检测速度快且在特定环境下表现优异,因此受到了研究者的广泛关注。但是在部署基于表征学习的异常流量监测模型时,单一网络域内面临着数据不足、标注能力不够、难以检测未见过的异常流量、且原始流量数据可能泄露域内的敏感信息和用户数据,因此多个网络域之间也不能汇聚其数据共同训练模型的问题。联邦学习作为一种新的、隐私安全的机器学习框架,可以在各方不汇聚隐私数据的基础上共同训练模型,为上述问题提供了优秀的解决方案。本文将联邦学习和基于表征学习的异常流量检测算法相结合,在不汇聚各方原始流量数据的前提下,共同训练模型,最终提出并实现了基于联邦学习的分布式异常流量检测系统。论文的主要工作包括两个方面,首先,基于研究者目前对联邦学习框架安全性的研究,对联邦学习框架进行了改良。为解决传统联邦学习框架下存在半可信中心化聚合节点,模型聚合、分发过程不可信、不透明、难以验证的问题,本文提出并实现了一种基于区块链的安全联邦学习方法,将区块链与联邦学习相结合,在保证模型聚合、分发过程可信、透明、可验证的同时,不引入第三方聚合服务器,同时保护用户隐私安全,且仅带来较少的额外时空成本。其次,基于所提出的方法,本文设计并实现了基于联邦学习的分布式异常流量检测系统。各参与方可以动态加入和退出本系统,由智能合约对系统运行的全流程进行控制和管理,在保护各参与方隐私安全的同时,共同训练基于表征学习的异常流量检测模型。试验结果表明,即使各参与方参与训练的试验结果表明,即使各参与方参与训练的网络流量数据在类型和数量上是极端不均匀的,我们的系统仍取得了很好的训练结果,基本满足了现实场景下异常流量检测的需要。
其他文献
偏微分方程(PDE)的解可以刻画许多实际问题,例如病毒在人群中的传播情况,金融衍生品的价格等,所以求解PDE对诸多领域,包括物理、生物、金融等都有重要的意义。高维PDE通常难以求解,而传统算法在处理高维PDE时会出现“维度灾难”,即随着维数增加,计算的复杂度将呈指数倍增加。本文对E W等人于2017年提出的基于深度学习的数值方法--深度BSDE方法,从离散精度与神经网络输入信息复杂度两个方面进行优
近年来随着各大视频创作平台的迅猛发展,优质的视频作品越来越多,给广大人民群众在学习、工作之余带来了见识、思考与无尽的欢乐的同时,视频作者们自身也能获得名气以及经济收益。随着深度学习技术的发展,像AI换脸、人脸生成等等技术已经被用于视频内容创作,只是受限于技术使用门槛较高以及前些年技术的不完善,这类视频创作内容很少,其中真正优秀的作品更是少之又少,而且可能会有肖像权侵权问题。为此,本文基于人脸生成、
随着时代的发展和科技水平的进步,人们对移动增强现实(Augmented Reality,AR)技术提出了更高的要求。然而,传统的增强现实只是将虚拟对象简单地叠加到现实世界的顶部,在存在遮挡的情况下无法真正使得虚拟对象与现实世界融合。针对传统移动增强现实的问题,本文设计实现了基于单目3D对象SLAM的移动增强现实系统,使用轻量级语义SLAM算法对周围的环境进行建图,将现实世界的物体表示为立方体的形式
大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)技术具有信息传输速率快、抗干扰性强和频带利用率高等优点,是5G通信系统的核心技术之一,但在实际应用中也面临一些困难和挑战,信号检测便是其中之一。随着天线规模增大,传统MIMO信号检测算法难以在计算复杂度和检测性能之间取得较好的平衡。本文对基站接收天线采用高精度模数转换器(Analog-Digital-Con
近年来,随着互联网行业的迅速发展,互联网也走进了千家万户,不仅丰富了人民的生活,也给很多行业带来了很大的改变,利用互联网技术可以改变传统的工作方式。在铁路调度管理方面,传统的管理模式存在设备管理分散、数据整合困难以及无法形成统一监管等问题,所以多媒体调度管理平台也是顺应数据化和信息化的潮流,推进互联网与业务需求的结合,以达到提高管理工作效率,简化管理工作流程,节省成本的目的。本文对当前调度管理系统
微博由于其内容传播速度的即时性和传播范围的广泛性积累了大量的用户,成为了热点事件的舆论爆发地与传播地。对于微博的某个突发热点事件来说,在一段时间内会产生大量的社交媒体文本数据,并且这个突发热点事件往往会蕴含若干语义相关的子话题,挖掘出微博蕴含的各个子主题信息对于舆论的正确导向具有重要的意义。但是由于短文本的语义稀疏性问题,主题挖掘或文本聚类等文本挖掘算法的效果会受到一定程度的影响。此外,社交媒体文
随着深度学习的不断发展和语言模型研究的不断成熟,对话系统提供了一种比视窗界面操作更符合普通人习惯的新型人机交互方式,但在现有对话系统中,仍然存在多轮对话中无法联系上下文、无法处理专有名词后面的复杂信息,只能进行日常闲聊无法进行更有价值和意义的聊天。为了使得对话系统能够联系对话历史上下文以及理解专有名词的背景信息。本文主要研究内容如下:(1)提出了一种模型压缩方法,采用预训练参数初始化任务和模块对齐
随着5G网络、物联网的普及应用,无人机、无人驾驶车等新设备的出现,促进了定位技术的广泛研究。其中,基于视距场景下时延与距离线性关系的无线定位技术以其精度高、计算复杂度低、方便部署等优点而被广泛应用。但实际环境中多径和NLOS(non line-of-sight)误差的广泛存在,为时延估计和定位算法都带来了挑战。为了解决多径干扰以及传统时延估计方法精度受限于采样率的问题,针对最大似然时延估计法,本文
随着社会的高速发展,物联网、大数据等技术的不断升级,信息化得到越来越多企业的高度重视,然而在信息量呈指数增长的同时,基础数据的统一、完善显得尤为重要,因此越来越多的企业开始进行主数据治理和主数据系统项目。论文以X公司主数据系统项目为研究背景,结合项目风险管理的理论体系,在国内外风险管理研究的基础上,进行主数据系统项目的风险管理研究,主要内容有:一、简述论文研究的实际项目,即X公司主数据系统项目的项
如今正是互联网高速发展的时代,各项互联网技术层出不穷。物联网技术建立物体与互联网的联系,AI技术促进生活的智能化,大数据技术挖掘数据更深层次的价值。这些技术也标志着未来是“互联网+”的时代[1-2]。因此,新时代下信息的传递显得尤为重要,需要建立在一个稳定可靠的通信系统上。而光纤通信系统无疑能够很好地适用于这些场景。得益于光通信频带宽、损耗低、抗电磁干扰等特点,未来的通信网络发展方向必定是大容量、