企事业单位通常在网络的出入口处安装多种网络安全设备以保障内部网络的安全,防火墙和IDS等设备在运行过程中会产生大量的日志来记录网络事件。通过研究这些多源异构的日志数据并从中提取网络安全事件可以呈现网络安全态势,这样能够让管理人员准确地掌握网络运行状况同时做出正确的网络决策。网络安全设备日志具有海量性、多源异构性和时空关联等特性。本文主要对安全设备日志融合算法进行研究,通过分析并改进现有的数据融合算法和日志融合模型,以Hadoop大数据处理平台为基础,从日志预处理、日志聚类和日志融合等方面构建高效的日志处理算法。首先,本文分析了网络安全设备日志的相关概念并对已有的日志分析工具进行简单介绍。分析日志是为了挖掘出日志中隐藏的网络态势信息,因此,本文从态势信息获取、态势要素提取和态势评估三个方面解析态势感知模型。为了高效地处理海量多源日志数据,本文将网络安全设备日志规范表示为管理配置类日志、流量异常类日志和攻击类类日志。其次,本文提出了基于网络安全设备日志属性相异度的聚类算法。该算法以网络攻击模型对应的日志属性特征为基础,以动态时间阀值为日志聚合条件,该算法根据IP地址和端口等属性对不同网络攻击具有相异的重要性而设置不同的贡献权值。实验数据表明,该聚类算法对已知的网络攻击具有很高的检测率。日志聚类形成超警日志(Hyper_logs),本文提出了基于规则的融合算法和加权的DS证据理论对超警日志进行融合。对于攻击类超警日志,本文针对安全设备对不同网络攻击检测准确率差异对其设置相异的权值,这样使得日志融合的结果能够更准确地反应真实的网络攻击场景。最后,在日志融合基础上,本文以Tim Bass模型为基础设计并实现了网络态势感知系统。该系统实现了日志采集、数据处理和态势评估三个模块,为网络安全管理人员提供了选择和查询等人机交互的接口,方便管理员掌握网络态势信息,以便于为进一步做出网络决策提供参考。