主机恶意代码检测系统是运行在主机上,检测该计算机中是否存在恶意代码的智能系统,是维护计算机安全极为重要的安全软件。随着国家、社会对计算机的依赖程度日益增长,计算机安全问题就显得日益严峻起来。传统的恶意代码检测如反病毒厂商的杀毒产品,主要是基于特征码扫描的检测技术。特征码扫描检测技术需要预先从已知的恶意代码中提取出特征字节序列存入病毒库,之后再利用匹配算法进行检测。这种方法的明显缺点在于需要预建特征库,而特征库更新显然是滞后于恶意代码的,因此它对未知恶意代码的检测能力极弱,对加壳变形后的恶意代码处理能力也十分有限。本文致力于从恶意代码的行为上去识别检测,这是由于恶意代码定义的关键点就在于其行为目的的恶意性和结果的破坏性,因此检测的要点也就是如何识别行为的恶意性。本文主要的工作和贡献可归纳为:1、对恶意代码的工作原理进行深入分析,总结了各类恶意代码使用的核心技术,研究探寻目前恶意代码反检测的主要手段,包括应用层面和内核层面恶意代码的反检测技术实现,以及BIOS固件和CPU微代码植入技术的可行性。2、针对恶意代码的行为特点,从多处入手研究采用多种方法捕获检测恶意代码行为的方法。为恶意代码信息捕获模块设计实现了如下有效的技术方法:(1)利用用户态和核心态的多种钩挂方法截取程序行为,包括新的系统调用拦截方案、驱动间通讯拦截方案等;利用痕迹扫描技术发现恶意代码留下的包括钩挂代码、隐藏数据在内的多种行为痕迹。(2)设计实现在CPU硬件支持(单步执行功能支持和最后分支记录功能支持)的辅助下,动态记录程序控制流路径的方法。(3)针对恶意代码修改破坏内存中的操作系统组件来反检测、反清除的手段,创新性的提出利用虚拟化技术在操作系统中创造一个虚拟的、干净的系统环境,使易受恶意代码破坏的系统组件在另一个环境安全工作。该方案工作效果明显。(4)为了捕获一些难以截取或常受恶意代码干扰的行为,本文分析CPU硬件虚拟化支持的原理,并提出了基于CPU硬件虚拟化支持(AMD的SVM与Intel的VMX)的行为收集方案。3、提出一种基于隐马尔可夫模型(HMM)的操作系统环境模型,利用多种手段截获收集的行为数据作为模型观测值来计算被植入rootkit的可疑值,经实验表明对rootkit类恶意代码有较好的检测效果。同时对收集到的动态控制流路径数据,提出了首先建立调用层次树,再利用计算编辑距离判断相似度的方式检测隐藏性恶意代码,实验也取得了良好的结果。4、主持设计了基于专家系统的恶意代码检测模块,与项目组同学们共同实现了原型系统,模块充分利用了恶意代码信息捕获模块的数据输出。5、利用恶意代码信息捕获模块、异常检测算法模块、基于专家系统的恶意代码检测模块以及辅助的特征码扫描模块完整实现了一套主机恶意代码检测系统。