近年来,随着网络的普及和发展,网络入侵日益严重,网络的安全正受到严峻的挑战。网络入侵检测作为网络安全防护体系的主要组成部分,其作用越发重要,成为当前研究的重点和热点。网络入侵检测能够发现网络入侵行为,为网络安全提供保障,然而,网络带宽的提升以及网络攻击日趋频繁和多样化,增加了网络入侵检测的难度,使得入侵检测系统(IDS)的实用性大为降低。首先,从多台主机发起的分布式入侵使得现有的IDS应接不暇；其次,大规模的网络环境增加了IDS部署的难度；最后,攻击手段的多样性以及未知入侵行为的不断出现增加了IDS的误警率和漏警率,降低了入侵检测的准确性。针对这种情况,本文围绕网络攻击模型、误用及异常入侵检测技术、IDS体系结构等三个方面展开研究。具体涉及：针对目标网络安全状况的评估问题,研究基于反向搜索的网络攻击图模型,为IDS的部署提供指导意义；针对提高误用入侵检测技术中规则匹配的速度问题,研究并改进了Wu-Manber多模式匹配算法；针对降低未知入侵行为检测的漏警率问题,研究基于超球面边界样本点筛选算法的SVM分类器；针对如何设计高可扩展性、可靠性、可用性的IDS系统问题,研究基于多代理的混合式IDS系统体系结构模型。论文的主要研究成果及创新点如下：1)提出了一种基于反向搜索的网络攻击图建模方法。针对传统攻击图建模方法存在系统状态过多、状态空间过大、攻击图结构复杂、生成效率低下等问题,该方法通过划分内网主机的安全级别、反向搜索机制以及系统脆弱性分析,有效地压缩了系统状态空间,提高了网络攻击图的生成效率,并且生成的模型结构简单,能够很好地反映目标网络的安全状况。2)提出了一种改进的Wu-Manber多模式匹配算法。在误用入侵检测中广泛应用的Wu-Manber算法,在实际的应用中还存在以下问题：对短模式处理效果差、存在冗余的数据信息和操作、需要遍历整个后缀链表。本文分析了这些问题存在的原因,并对算法作了改进,通过长短模式分开处理、独立的数据结构、并发处理及地址过滤等方法,有效地解决了上述问题。改进后的Wu-Manber算法在网络入侵检测中表现出更好的性能。3)提出了一种基于超球面边界样本点筛选算法的SVM分类器。分类器是种重要的异常入侵检测技术,用于对未知入侵进行检测,而SVM分类器由于具有很好的泛化能力,成为当前研究的热点。本文针对SVM分类器构造过程中存在的样本集过大以及受离群点影响等问题,考虑到分类器的划分结果主要由位于两类样本点边界处占样本数少部分的支持向量决定,采用KNN算法及超球面筛选算法来提取边界样本点,在保证分类器泛化能力的基础上缩短了样本训练时间。该分类器在对入侵检测时,表现出较好的性能。4)提出了一种基于多代理的混合式IDS模型。该模型参考并改进了AAFID模型的体系结构,获得更好的可扩展性。模型还设计了专门的混合式入侵检测模块,结合误用入侵检测和异常入侵检测技术,降低了入侵检测的误警率和漏警率。此外,模型中还采用了多属性的特征提取方法对入侵行为进行特征提取；构造了以径向基函数为核函数的SVM分类器,提高了对未知入侵行为检测的准确性。整个模型具有很好的可扩展性、可靠性、稳定性和可用性,能够适用于大规模的、高速的网络环境。