论文部分内容阅读
本文针对现在的异常检测系统由于计算机软硬件的原因,而无法很好的处理大流量的环境中的海量数据的问题,提出了一种基于数据流的在线保存数据概要信息的方法,实现了一个面向大规模网络异常检测的数据流管理系统。数据流系统的核心是一个适于进行高频项统计的概要数据结构(FrequentSketch),数据流管理系统中采用了吸收传统SQL优点的面向连续查询的数据流查询语言(DSQL)。同时,为了提高连续查询的效率提出了一种高效的数据流中间层语言(DSIL),将数据流查询语言转换成便于程序执行的结构。最后本文将通过一个实例来演示系统是如何工作的。在实验中我们针对国家骨干网出入口的流量特性进行分析,将流量划分成便于进行异常检测的子数据流,并应用于本文所构建的数据流管理系统。通过分析比较常见的蠕虫传播模型,制定了一系列由DSQL描述的基于蠕虫行为的异常发现规则。在实际环境中运行结果,验证了本文所提出的数据流系统是可以在大规模网络情况下应用在异常检测系统中的。