实时网络流量异常检测算法研究和系统实现

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:hellolixing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网的高速发展,各种网络应用层出不穷,中国乃至全球的互联网使用人数与日俱增。随着互联网的越来越普及,人们在日常生活中和互联网之间的联系也越来越紧密,互联网产生的网络流量数据也越来越大。但是与此同时,网络安全问题带来的隐患和威胁也越来越大。网络安全事故的发生往往都伴随着异常的网络流量波动,所以快速有效的检测出网络流量中的异常对预防和治理网络安全问题意义重大。本文首先对网络流量进行了研究,针对网络流量的周期特性提出了一种基于STL分解和ESD验证的异常检测算法,并利用话单数据进行实验,对该异常检测算法进行参数选择和调优。然后,在批处理异常检测算法的基础上进行流式改造,设计了一种实时的网络流量异常检测算法。接着,在流式异常检测算法的基础上,利用Kafka、Spark Streaming等大数据框架设计和实现了一套实时异常检测系统,并详细介绍了该实时异常检测系统的组成,包括由Kafka实现的输入部分,由Spark Streaming实现的检测部分以及由Java web构成的输出部分。本文所有的实验数据均来自于北方某省市2015年8月1日到2015年8月31日的真实网络流量。实验显示,本文提出的异常检测算法确实能发现网络流量中的异常,该实时异常检测系统能够正确的完成异常流量实时监测的任务。
其他文献
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
农药残余、致癌物等词语一旦出现在新闻报道中,定会刺痛消费者的恐慌神经。且不论信息的真实性,就致癌本身而言,媒体和人们往往忽视了导致癌症的条件,所谓的"农药草莓",吃多少
泛在知识环境的产生,既有信息技术持续快速发展和用户知识泛在存取等的外在机制,又有web2.0信息自组织序化机制和知识网络结构体系功能的内在机制。泛在知识环境的发展趋势主要
二维二硫化钼(2D MoS2)是石墨烯之后研究最热的二维材料之一,具有石墨烯类二维材料优异的力学性质和独特的带隙、催化特性,是高分子基纳米复合材料研究的热门材料之一。文中简
舌诊是中医的重要诊疗手段,随着现代舌诊研究的不断深入,舌诊信息化技术也参与到证候的研究和疗效评价之中。通过对近15年的文献查阅,本文从舌诊指标信息化研究、舌诊信息化
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
民国时期哈尔滨地区一共爆发过三次大型霍乱,分别是在1919年、1926年与1932年,三次染及霍乱人数共达到一万二千多人,其中死亡共七千多人。霍乱的流行对民众及社会带来了极大
1912年中国进入北洋军阀统治时期,中国政局走向动乱。一战的爆发和日本对华的强势扩张改变了东亚国际关系格局,为了维护在华经济利益、抵制日本的势力扩张,美国在继续实行“
当下,分享经济热潮正席卷全球,已经有几十亿消费者从中受益。最著名的两家龙头企业Airbnb业务已经覆盖了190余个国家和地区,Uber也也进入68个国家和地区,它们从不掩饰自己扩张的
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield