随着计算机在各行各业应用的深入和普及，各类社会、经济、政治、国防等重要信息大量的在计算机中存储和网络中传输，围绕系统安全的研究也成为最热门的研究方向之一。由于现在的因特网以及操作系统存在很多的安全漏洞，连接在因特网上的计算机很容易受到各种各样的攻击，其中被广泛使用的一种技术就是Rootkit。当前Rootkit检测方法和技术只能判断系统中是否安装某类已知Rootkit，而无法检测其它修改后的已知Rootkit和未知Rootkit。 本课题研究目标是提出一种检测和分类所有类型Rootkit的方法。首先深入研究和分析。Rootkit的攻击原理，对当前Rootkit进行纵向分类，并提出一个分类和描述Rootkit特征的数学模型；然后基于该数学模型，提出一个新型和完善的Rootkit检测和分类方法。通过大量实验证明该方法的可行性，并与当前流行的Rootkit检测方法进行分析比较，供计算机安全研究人员检测和分析Rookit漏洞利用特征。本论文详细描述检测分析步骤，主要分为文件完整性检测、内核完整性检测及内核代码段比较等，通过这些步骤可分析出：Rootkit的漏洞利用特征及类型。本文还提出如何运用蜜网系统捕获Rootkit及攻击行为，分析攻击者编写的各类Rootkit的漏洞利用特征，并将特征加入当前的己知Rootkit检测工具。本课题研究的技术路线是使用开源的GPL工具和其他开源工具软件进行研究，使该方法具有很高的灵活性和适应性。研究中分析的目标Rootkit是由蜜网系统捕获的，蜜网系统具有数据捕获、数据控制和数据分析的特点，可用于记录攻击者安装Rootkit的信息及Rootkit副本。 本文分为3个部分，第一部分概述本课题研究中涉及到的基本原理，包括Linux系统的调用机制、可加载内核模块LKM机制及Rootkit的攻击原理，并分析当前Rootkit检测方法和防御技术的特点。当前方法包括检测Rootkit的GPL工具及维护系统完整性的GPL程序和作为潜在方法的黑盒分析技术。第二部分是本文的主体部分，介绍描述Rootkit的数学模型，之后详细阐述基于该数学模型的新检测方法细节，它是我们检测和分类Rootkit的核心，然后提出使用蜜网系统捕获和检测新型未知Rootkit方法。本文的结论部分对全文的工作进行了总结，并给出下一步研究方向。