随着计算机应用的日益普及,可执行文件进行相似性分析可以有效弥补源代码级别分析的不足,在漏洞分析利用、知识产权保护、病毒变种分析等方面具有重要意义。本文通过研究现有的可执行程序软件相似性分析技术,对函数控制流图的结构化签名比对算法进行优化,提出了基于多层次筛选函数控制流程图的可执行文件相似性检测算法,并详细介绍了算法流程和代码实现。在子函数配对与子函数基本块匹配方面做了改进,利用基本块Hash值作为函数签名的一部分,实现多层次筛选的函数签名匹配子算法,利用深度优先遍历子算法实现了针对基本块多层跳转关系的精准匹配。基于多层次筛选的函数控制流程图的可执行文件相似性检测算法,完成了可执行程序软件相似性检测系统的开发,并对各个模块进行了详细的介绍。同时实现网络爬虫自动从互联网上爬取可执行文件,以其为比对样本建立了支持CVE漏洞库的关联库(以下简称为“CVE关联库”)。使用CVE关联库有助于对软件相似性结果进行的后续分析,同时扩展了可执行程序软件相似性检测系统应用范围。最后设计了多个测试用例对系统进行了测试,并针对测试结果进行了分析。实验结果表明,可执行软件相似性检测系统基于多层次筛选的函数控制流程图的可执行文件相似性检测算法能够准确高效地分析出可执行文件相似度,并结合具体实例对系统在补丁比对漏洞分析中的应用做了介绍。