面向大规模网络异常检测的数据流系统

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:assasad
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文针对现在的异常检测系统由于计算机软硬件的原因,而无法很好的处理大流量的环境中的海量数据的问题,提出了一种基于数据流的在线保存数据概要信息的方法,实现了一个面向大规模网络异常检测的数据流管理系统。数据流系统的核心是一个适于进行高频项统计的概要数据结构(FrequentSketch),数据流管理系统中采用了吸收传统SQL优点的面向连续查询的数据流查询语言(DSQL)。同时,为了提高连续查询的效率提出了一种高效的数据流中间层语言(DSIL),将数据流查询语言转换成便于程序执行的结构。最后本文将通过一个实例来演示系统是如何工作的。在实验中我们针对国家骨干网出入口的流量特性进行分析,将流量划分成便于进行异常检测的子数据流,并应用于本文所构建的数据流管理系统。通过分析比较常见的蠕虫传播模型,制定了一系列由DSQL描述的基于蠕虫行为的异常发现规则。在实际环境中运行结果,验证了本文所提出的数据流系统是可以在大规模网络情况下应用在异常检测系统中的。
其他文献
本文在双机容错体系的基础上,结合集群系统的高可用框架理论,建立了适合于网络容错服务器的高可用系统模型;分析了该模型中各抽象元素的状态变化:从抽象层次阐述了双机容
本文主要针对中国手语4942个手势词以及由这些手势词组成的543个连续手势句子进行了识别算法的研究,在此基础上实现了特定人的手势词和连续语句的在线实时识别.研究重点是解
集群式供应链作为一种新型的供应链组织模式,比传统的供应链具有明显的优势,如进行大规模定制化生产,降低成本,提高集群企业利润、市场竞争力和创新能力以及客户满意度等等。它是
随着计算机辅助设计技术的发展,通过实物模型产生数字模型的逆向工程技术获得了越来越广泛的应用。为了得到被测物体的完整数据模型,需要确定一个合适的坐标变换,将从各个视角得
本文的重点主要集中在特征点的匹配和多视角关系的校正.主要完成以下两方面的工作:(1)特征点匹配算法的设计.将特征匹配和极线几何估计有机的结合起来,给出一种基于组合优化
神经网络的输出对参数扰动的敏感性是神经网络设计和实现中的一个重要问题。参数的扰动对网络的输出会有怎样的影响?如何度量神经网络对参数扰动的敏感程度?本文着重计算和分
本课题针对我国海运行业业务面广,业务流程变化快,数据量大,业务系统开发工作量大、周期长以及业务数据的共享、抽取、分析,完整性、安全性的保持及高效的事务处理等问题提出
本文对网络测量、网络带宽测量的历史进行了回顾。按照测量方法的组成部分对带宽测量方法进行分类,突出了测量方法的特点,指出了各种测量方法的适用条件、技术原理和局
全球信息化快速推动了中国软件产业的不断发展,极大地促进了软件测试业的进步,但在软件测试的认识、软件测试技术、软件测试商业化等方面,目前中国的软件测试业与欧美还存在很大
本文主要研究滑动窗口连续查询的处理问题。滑动窗口查询是数据流中一类重要的查询类型。根据执行方式的不同,滑动窗口查询可以分为元组驱动滑动窗口连续查询和时间片