随着互联网,物联网等大规模网络的发展,海量用户接入网络,网络数据量呈爆发式增长,隐藏在其中的安全问题也威胁着越来越多的网络用户。本文重点关注于因网络拓扑或网络异常行为导致的安全隐患或一系列损害。基于机器学习的人工智能算法的发展使得非平稳数据分析成为可能,海量数据为智能算法提供基础支持,高性能计算芯片的发展为算法提供平台支撑,系统的算法研究大大提升了安全数据分析的可靠性。从而,大数据场景下的安全分析具有高准确率、高性能等特点。本文以复杂网络为理论基础,研究网络行为认知,从而发现其中的异常用户,并结合最新的机器学习研究基础,在大数据的场景中分析研究网络异常。现阶段,针对网络异常发现主要通过日志和流量两种主要方式,本文针对日志和流量分别使用不同的方案,为网络安全研究的发展提供支持。主要工作如下:1.提出了一种基于级联失效的网络模型,研究网络中节点与节点间的关系,并针对无标度网络和随机网络进行具体分析,发现具有鲁棒性的网络结构,为组网提供研究支持。利用日志行为数据构建用户行为双层网络模型,利用级联失效模型来分析日志数据上的异常行为。2.设计了一种以复杂网络为基础的社团划分算法,以发现网络上的异常用户团体。通过对网络中心性和独立性的定义,发现社团中心节点,然后基于节点距离对网络上的节点进行聚类。网络的聚类可以进一步用于异常行为团体的发现,通过对现有数据的可视化可以清楚地发现网络上的异常行为具有团体现象。3.在分析网络日志数据方面,利用机器学习算法设计基于无监督的异常日志发现框架,设计了有效的日志向量化方法,再结合基于神经网络的稀疏自编码器或PCA算法得到日志异常值,最终发现异常日志。同时,提出了一种基于生成对抗网络的日志异常检测算法,为异常日志的生成提供研究基础,实验结果发现可以有效提升日志分类器的鲁棒性。4.在流量数据分析方面,利用深度学习方法,将流量数据矩阵化,提出了一个模型轻量化部署方案。此外,设计了一种基于遗传算法流量分类网络搜索框架,为现有流量网络设计多样性提供方向,实验证明了搜索出来的网络比现有网络在分类准确率和算法复杂度上均有较大提升。