随着计算机科学的高速发展,系统攻击与入侵行为正对国家安全、社会生活造成越来越大的威胁与隐患。为对系统进行安全防御,有效地解决入侵检测,结合数据挖掘的系统日志分析由此产生。日志数据记录着用户的访问信息,这些信息往往蕴藏着可疑行为的蛛丝马迹,因此,日志分析已成为系统入侵检测的重要环节。然而,传统的数据挖掘入侵检测技术大多针对网络日志,并只侧重于单一数据挖掘算法的改进方法,不能很好地检测出内网中海量主机日志中所蕴含的潜在威胁与攻击,因此,本文旨在将数据挖掘与入侵检测技术相结合,根据应用场景,发现安全威胁并提出解决方案。本文提出了基于主机日志的入侵检测的系统框架,采用数据挖掘中的关联分析、时序分析与误用检测、异常检测相结合的方法进行入侵安全检测,主要包括日志预处理,数据挖掘,入侵检测三大模块。首先,日志预处理模块将内网中的半结构化主机日志,进行ETL与日志格式统一化,转换成结构化日志,以便数据挖掘与分析的读入与处理。其次,在数据挖掘模块,由关联分析找寻日志各属性的内在横向联系,挖掘日志属性的隐藏关联,由时序分析发现日志量的时间纵向联系,挖掘季节周期性日志规律和随机异常日志的产生时段。将新得到日志属性关联与周期规律存入规则数据库,并反复递归循环,以求得尽可能全面的潜在威胁日志。然后,入侵检测模块,根据实际场景,利用误用检测技术过滤符合安全规则的常规日志,并结合异常检测,发现其他的非正常用户行为,获取“可疑”日志数据集。根据安全经验,全面分析与处理最终的“可疑”事件,保证内网安全。最后,本文实现了数据挖掘与入侵检测相结合的日志分析系统,从测试数据集中构造得出多种入侵事件模型,成功检测过滤的登录日志集比率达97-99%,同时也比单一的挖掘算法的检测率高出20%,检测速率更快,证明了本系统框架在主机日志分析方案的入侵检测优势与效率。