随着网络技术的快速发展，安全问题也越来越突出。通常，网络管理员采用多个网络安全设备同时上线工作，以应付多样化的黑客入侵方式。然而，由于各个网络安全设备工作时大多处于独立状态，很容易导致同一个攻击事件产生大量的冗余报警现象。报警数据聚合技术旨在消除重复报警数据，降低系统误报率，提高检测率，从而有利于网络管理员及时地掌握主机和网络的运行状态，也便于后续的融合和关联分析。通过改进入侵检测系统报警数据的读取方式及处理方法，并结合Spark大数据处理技术，以提高报警数据聚合方法的检测性能和效率。论文的主要创新工作如下：　　面向大规模复杂网络的入侵检测系统，考虑多源的IDS报警数据，采用层次化的思想，并结合大数据并行处理技术，构建了一种基于Spark的IDS报警数据聚合系统模型。该模型既考虑NIDS的Snort报警数据，又考虑HIDS的OSSEC报警数据，将报警数据聚合系统分为报警数据采集层、报警数据预处理层、报警数据属性相似度和权重计算层以及报警数据聚合层，并且报警数据聚合层采用Spark大数据处理技术实现。依据该模型设计并实现了相应的原型系统，验证了该模型的有效性。　　针对现有的网络入侵检测系统中的 Snort 报警数据聚合方法存在相似度计算可靠性不高，而且聚合效率不佳的问题，提出了一种基于Spark与角标随机读取的Snort报警数据聚合算法。该算法打破了常规的数据顺序读取方式，采用角标随机读取算法实现报警数据按月分段段内随机聚合比较，并灵活计算相邻报警数据的属性相似度。同时，结合Spark大数据处理技术加快Snort报警数据聚合处理效率。通过搭建真实数据采集平台对该算法进行了验证，并与相关研究工作进行了比较。实验结果表明，该算法有效地提高 Snort 报警聚合率和检测率，以及降低了误报率和聚合运行时间。　　由于现有的主机入侵检测系统中的 OSSEC 报警数据类别属性存在不统一，导致报警数据聚合方法的聚合率不高，结合Spark大数据处理技术，提出了一种基于Spark与类别属性划分的OSSEC报警数据聚合算法。该算法摒弃了目前仅依赖时间属性来处理报警数据，而基于 OSSEC 报警数据类别属性划分实现报警数据逐层升序聚合。同时，结合Spark大数据处理技术加快OSSEC报警数据聚合处理效率。通过搭建真实数据采集平台对该算法进行了验证，并与相关研究工作进行了比较。实验结果表明，该算法有效地提高 OSSEC 报警聚合率和检测率，以及降低了误报率和聚合运行时间。