随着计算机技术的不断发展,互联网在人们的生活中占据了越来越重要的地位,但是随之而来的是网络安全事故的频频发生,安全攻击的手段层出不穷,传统安全技术和手段日渐捉襟见肘。因此,入侵检测技术作为网络安全中重要的一项技术得到了更多的重视和研究。然后,传统的入侵检测技术在这个大数据的时代已经逐渐力不从心了。于是,近年来机器学习技术被应用到了入侵检测之中,成为了又一个研究热点。入侵检测技术的两个关键点在于算法和数据集。算法主要是分类算法和聚类算法等,而且出色的数据集能够帮助算法构建更好的模型,使之能够得到更好的检测效果。本文的研究按照数据集和算法两个方面展开。主要的工作和成果如下:(1)针对入侵检测的常用数据集KDD-CUP99数据集的原始数据过时的问题,选择了国内外的公开数据集之中的比较具有代表性的数据集进行分析和比对,结合现有的入侵检测数据的评估框架,提出了一种基于基本信息,统计特性和算法效率三方面的评估方法,并且使用了NSL-KDD数据集合UNSW-NB15数据集进行了评估和比较,最终选择了UNSW-NB15数据集作为实验的数据集。(2)结合最大互信息系数和Relief-F算法提出了MIC-Relief-F特征选择算法,以去除相关性较高的冗余特征的影响,并且针对不平衡数据集进行了权值调整,构成有效特征子集,实现特征降维。实验中采用了随机森林分类器对使用这两个算法进行特征选择后的数据集以及原始数据集进行比较,结果表明MIC-Relief-F算法的效果最佳。(3)提出了一个基于XGBoost算法的入侵检测模型。该模型结合了MIC-Relief-F算法对UNSW-NB15数据集进行特征选择处理;并且使用了网格搜索和交叉验证的方法进行了参数优化;对比了不同的损失函数和优化函数的结果,采用了效果更好的二分类的逻辑回归方法和均方根对数误差函数;通过准确率、误报率、F1分数、召回率和AUC五个方面评价了模型性能。实验表明,与其他算法相比,该算法模型具有不错的检测效果。