随着网络技术的飞速发展,网络攻击技术也得到了提高,给互联网的安全带来了巨大的挑战,加强网络安全的建设迫在眉睫。传统的入侵检测技术难以应对层出不穷的网络攻击,无法对未知的攻击进行检测,机器学习技术在入侵检测中发挥了越来越重要的作用,是应对新型网络攻击的重要手段。在海量的网络数据背景之下,针对已有入侵检测方法漏检率较高的问题,本文设计并实现了一套网络入侵检测系统,提高了对未知网络攻击的检测效果,能够实时检测网络流数据中的疑似攻击并进行告警,系统主要包括以下几个部分:(1)针对网络数据的特征提取问题,对采集到的网络数据进行解析并提取URL部分的基本特征、统计特征和语义特征作为初始特征,基于改进的CANN算法对初始特征进行重构,得到用于模型检测的新数据特征。(2)针对现有算法没有考虑特征权重而导致识别率不够高的问题,通过计算灵敏度给特征赋予权重的方法对K-NN算法进行了改进。采用基于K-D树的方法替换原始遍历过程进行近邻搜索,并通过Spark引擎实现了模型的分布式计算,进一步提高了K-NN算法的计算效率。(3)针对海量数据的实时处理问题,本文基于CDH环境搭建了分布式平台,设计了一套分布式入侵检测系统。通过Kafka传输Flume采集解析后的实时数据,使用Spark Streaming对数据进行拉取,使用预训练的检测模型对数据进行检测,检测结果存储到HBase中以备前端调用。(4)系统使用Echarts工具实现了数据可视化,对疑似攻击进行告警弹窗,以多种图表的方式对给定时间段内的攻击行为进行统计展示,同时实现了数据检索和关联分析功能。