网络入侵检测系统广泛应用于网络系统的安全防护,它对网络流量进行监视,发现可疑流量,并进行主动反应。近年来,基于异常检测的网络入侵检测系统因为其能够检测未知攻击,吸引了广泛关注。现有的异常检测技术存在以下几个问题:1.无法很好地从原始流量包,尤其是其载荷部分提取有效特征;2.需要大量有标签流量对模型进行训练,无法较好利用无标签数据;3.对大规模入侵检测数据训练速度较慢。因此,本课题从特征提取,数据利用,训练效率三个方面进行研究,希望设计出识别率高,数据要求低,训练高效的网络入侵检测系统。本文的主要工作如下:(1)提出了基于文本处理技术的网络流量载荷特征提取方法。首先使用字节级词嵌入对每个字节进行向量化表示,然后使用文本卷积网络对嵌入后的载荷进行特征提取。最后使用随机森林算法进行分类。实验表明,本文提出的深度学习特征提取方法能够较好提取流量包载荷部分关键特征,显著提高网络攻击识别能力。(2)提出了基于半监督和无监督学习的网络入侵检测框架。分析了现有基于深度学习的半监督和无监督学习算法的特点,将代表性算法整合成一个基于自编码器的网络入侵检测框架。实验表明,本文提出的框架能够较好地对网络入侵数据进行无监督聚类以及半监督分类,并通过共享网络减少了训练开销。(3)研究了面向机器学习模型的高效数值优化算法。大数据时代,网络流量数据爆炸式增长,网络攻击日新月异,使用大规模网络入侵数据训练机器学习模型成为迫切需求。为了提高模型训练的效率,因此本课题研究了随机方差缩减梯度算法,从周期长度和梯度估计两个方面对其进行了改进,从理论上取得了更快的收敛速度,并通过实验验证了所提出算法的优越性。