入侵检测系统的开发旨在发现具有安全隐患的入侵行为,高水准的黑客技术和利用社会工程学等手段的入侵,使得传统安全设备无法完全阻止不断增加的入侵行为。入侵检测系统在大型企业中的使用,证明在控制入侵风险和减低损失都具有非常意义。　　目前,成熟的入侵检测产品重点放在误用检测技术上，但是对于基于主机入侵检测所需异构数据源的采集、海量速率数据的捕获上，仍不适应大规模网络的实际情况,同时异常检测技术的使用也不是很成熟,造成了入侵检测漏报率居高不下的结果。目前已有产品从采集到存储再到处理,整个流程的性能无法满足真实网络公司的需求。为了有效解决上面问题,实现适应企业网络环境的高效的混合入侵检测系统,本文做了以下工作:　　(1)本文设计实现了统一采集技术。对于入侵检测系统繁杂的数据源,实现统一采集器,满足一次编译多次执行要求,只需针对每次特别需求更改配置文件,即可高效的实现对文本、数据库和系统类型日志的采集;统一部署框架的实现解决了多台数据源多次部署的耗时问题,集中管理的方式使得采集器的下发、操作和监控问题得以解决,从而实现主机采集端的高性能。　　(2)根据网络实际环境,本文设计实现了高性能数据包捕获功能模块。Gbits带宽的网络环境,使得传统基于LibPcap的捕获产生高的丢包率,含有不同包长度的网络数据情况,进一步影响了捕包性能,鉴于此,本文中采用PF-Ring的循环队列,结合DMA(Direct Memory Access)和NAPI(New Application Program Interface)技术实现数据零拷贝,再加上NMAP的内存映射和RTIRQ(IRQ高性能补丁)的高性能硬件中断技术,在网络的关键节点实现实时的全量的数据采集,并在测试环境下给出了不同技术的实验对比,从而实现网络包嗅探的高性能。　　(3)设计将深度包分析加入到误用检测引擎之中,使用PCRE再结合L7Filter协议模式串,在协议层高效检测入侵行为。同时在模式匹配算法的选择上，本文使用高性能模式匹配算法BMHS算法,只考虑文本中和模式最后一个位置下一个字符的对应情况,减少了匹配次数和移动距离,模式匹配是入侵检测系统的重中之重,高效率的匹配算法,实现误用检测的高性能。　　(4)提出并实现了基于改进 K-means的异常检测引擎。结合本文系统的实际情况,通过BIC(Bayesian Information Criterions)指标设定K的范围而不是单单指定K的某一个值,克服了K-means初始值设定问题,增加最小合并半径,进一步调整最后的聚类结果,同时,增加簇数量百分比和最小簇半径参数,给出推荐的标签,最后专家仲裁的引进,使得非监督算法的结果最终获得类标,算法的选择基于简单快速的原则,达到异常检测的高效性,使得灰标签数据能够确定异常与否。　　基于以上研究成果,本文实现了高性能的混合入侵检测系统,其分别有采集、存储、检测和告警模块组成,随后深入各个模块,实现其高性能的特点,并且成功运行在实际的企业网络环境中。