基于统计的网络流量异常检测技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:skyob
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络流量异常指的是流量偏离正常模型。引起流量异常的原因有很多,比如恶意攻击、网络设备故障、正常的突发用户行为等。网络异常检测的目的就是及时检测出异常的发生,便于网络管理员采取相应措施以保证网络的正常运行和服务质量。目前网络异常的检测方法主要有:基于统计的方法、基于数据流的方法和基于机器学习的方法。由于基于统计的方法有诸多优势,所以本文重点研究了这种方法。具体来说是三种统计方法:基于流独立性和稳态性的短时非相关流平衡性(ASTUTE:A Short-Timescale Uncorrelated-Traffic Equilibrium)方法、基于卡尔曼(Kalman)滤波的方法和基于时间序列预测的指数加权滑动平均(Exponentially Weighted Moving Average:EWMA)方法。  从另一个角度看,网络异常检测方法又可以分为两类:基于流量大小(volume)改变的检测方法和基于流量特征分布(traffic feature distribution)改变的检测方法。其中基于流量特征分布改变的检测方法更具优势,一般会用信息熵来度量其改变。本文用EWMA算法分别实现了这两种方法。  经调研发现,网络异常流量检测研究领域存在两个问题:一是网络流量和异常事件的种类是多种多样的,没有一个通用的检测器适用于所有的场景,所以需要明确哪一个检测器适用于哪一种场景;二是检测阈值的设置目前是凭借经验或者理论,但基本为固定阈值,自适应调节阈值仍然是一个难题。  本文研究并实现了ASTUTE、Kalman、EWMA(基于流量大小和基于流量特征)算法,并用两种数据源:作了标注的MAWI Lab数据集和在本地主机上通过 wireshark采集的数据集,做了大量实验。本文仔细分析了实验结果,并对算法检测到的异常事件做了人工根因分析。实验结果表明:上述三种方法可以检测出的异常种类并不相同,ASTUTE算法擅长检测产生许多小IP流的异常,而Kalman和EWMA算法擅长检测产生少量的大IP流的异常。基于实验结果分析,本文利用偏离分数的思想对ASTUTE算法的评估值进行了优化;去除了EWMA算法中滑动窗口中的噪音数据;用EWMA公式对ASTUTE算法的评估值进行了平滑处理。实验结果表明,我们的算法是有效的。
其他文献
当前的大多数中文分词系统都是基于词典的,但是其不能正确的切分文本中新词(字典中不包括)。这些基于词典的分词系统在处理包含较多新词的文本时,效果较差。  当前新词识别
随着国内投资风气的兴起,越来越多的人关注金融信息。在众多的金融产品中,股票的投资回报率最高,因此关注股票的投资者最多。那么,挖掘出和股票相关的资讯就变得很有必要。而
传统的接触式掌纹识别系统,在手指之间设计了固定杆,用于固定手掌的位置,这样可以减少图像采集过程中由于平移、旋转、扭曲引起的误差和失真,降低了图像处理和定位算法的复杂
脉象蕴含着人体丰富的器官信息,通过切脉即可感知人体脏腑的病理变化。但是长期以来中医理论对脉象的描述主观性太强,较模糊和笼统,医师要熟练掌握脉诊需要长期经验积累。所
随着社会的快速发展,人们对安全的要求越来越高,尤其是在涉及国家安全、金融、政法、电子商务等行业或领域时显得尤为重要。在这种情况下,就需要一种安全可靠的认证方法。生
随着因特网技术的不断发展,网络信息已经逐步成为人们学习、工作和生活中不可或缺的重要组成部分。网络提供了大量的文本信息,如新闻、博客、论坛、微博等。这些非结构化的数
通过Web日志分析挖掘用户的行为模式和访问意图,广泛应用于网站的页面推荐和链接结构优化。随着日志数据规模的增长,日志分析的可扩展性技术研究成为日志分析的研究方向。频
随着网络规模的逐渐增大,所储存数据的逐渐增多,安全性已成为网络建设的第一要素。访问控制作为实现数据保密性和完整性机制的重要手段,被美国国防部可信计算机系统评估标准T
随着互联网最近几年的迅猛发展,网络上的信息越来越多,开始进入网络生活时代。而如何能够快速、准确地找到自己所需要的信息,特别是短时间内爆发的突发性事件,变得越来越迫切
近年来,随着机械制造业的不断发展,用于残余应力消除的振动时效系统由于能耗少、污染低、作用周期短、操作简单,正在不断的替代传统的自然时效和热时效,得到了越来越广泛的应