随着现代通信技术的不断发展与进步,网络得到了快速的普及与推广,已经成为人们工作和生活中不可或缺的一部分。在网络蓬勃发展的背景下,网络安全事件却频繁发生,引起了广泛的关注。面对这种局面,网络安全管理人员开始在网络中大量使用网络安全设备,并通过网络安全管理系统对设备进行统一管理。然而,网络安全设备功能各异,各司其职,产生了大量信息。这些数目庞大的信息不仅难以利用,还给网络安全管理系统造成了巨大的压力。因此,对海量信息进行实时处理成为了网络安全管理系统的发展趋势。为了对网络中大量的实时信息进行处理与分析,本文将当前应用较为广泛的Storm实时数据处理技术引入网络安全管理系统,重新设计出基于Storm的事件管理模块,力图通过Storm提高系统对实时数据的处理效率。本文的主要工作和成果如下:1.本文将安管系统事件管理模块的数据处理过程划分为5个子过程,分别是事件采集、事件标准化、事件预处理、事件高级处理和事件展示。本文在Storm实时数据处理技术的基础上,重新对事件管理的5个子过程进行了设计与实现,将实际需求与流式数据处理相结合。通过测试,基于Storm的事件处理逻辑较单机Java程序而言在数据处理速度上有了显著的提升。2.在基于Storm对事件预处理进行设计的过程中,针对关联事件较为冗余的问题,本文利用Storm中Bolt允许缓存的机制,采用基于特征字段分类的去重方法,发现数据之间的关联关系,将系统中拥有相同特征的事件合并,有效地清除了系统的冗余数据。3.针对Storm流式数据处理的特点,本文对事件高级处理的事件归并过程进行了改造,将统计归并事件数量的工作交给事件展示逻辑,从而保证了数据的流式处理。而且,由于在事件规则匹配中程序会频繁查询事件规则,本文将事件规则存储在Redis内存数据库,提高事件规则的查询效率。