本文定义的未知木马是一种侵入主机而用户并没有发现的木马,目前对已知的木马有很好的方法去防御,而对未知木马的检测仍然是网络安全面临的主要任务,未知木马程序通过修改杀毒软件制定的特征码或者修改网络通信规则,很容易达到绕过杀毒软件或者防火墙的目的,从而对用户的个人信息造成极大的威胁。本文在分析、总结国内外现有木马检测技术基础上,对未知木马的行为特征进行了研究,采用经改进的分类算法,正确区分未知木马和正常程序,取得了较好的检测效果。本文主要工作如下:(1)提出了一种新的检测未知木马的算法。该算法结合了粗糙集和朴素贝叶斯分类理论,综合考虑已知木马的行为属性,利用粗糙集属性约减方法提取能有效区别木马和正常程序的行为属性,并结合改进的加权贝叶斯分类算法对未知木马和正常程序进行分类。实验表明,与单独使用朴素贝叶斯的算法相比,该算法可以有效提高检测未知木马的准确率,降低检测的误报率和漏报率。(2)为更好地完成未知木马和正常程序的分类,本文提出了一种基于改进的模式搜索法的SVM参数寻优方法,该方法针对模式搜索法初始点确定带有随意性的问题,采用粗网格搜索得到多个基本点,并对多个基本点划分区间,同时采用二次插值技术,确定初始点。实验表明,和单纯使用模式搜索方法相比,该方法可以稳定的得到较高的正确率。(3)最后,根据检测结果,制定了相应的Snort规则,构建了基于Snort的未知木马监测系统,该系统能正确检测到未知木马的后续攻击,从而达到防御的目的。