由于软件技术的飞速发展,导致软件内漏洞数目也在飞速增长。而过去手工挖掘漏洞的方式存在着对安全研究员经验要求高,挖掘漏洞速度慢的缺点,导致其难以满足目前软件内漏洞快速增长的需求。模糊测试作为一种目前较为常用的自动化漏洞挖掘工具,可以帮助安全研究员自动化的发现目标程序存在的漏洞,同时快速锁定漏洞产生原因。大大降低了漏洞挖掘对安全研究员经验的要求,并提高了安全研究员挖掘漏洞速度。但是由于模糊测试的随机性比较强,导致模糊测试过程中可能会存在大量的无效测试。而现实世界中应用程序规模和复杂性较高,模糊测试中的大量无效测试使得模糊测试覆盖到的代码在全部代码中的占比不高。针对以上问题,本文提出了以下两种优化方式。首先本文将二进制程序反汇编为源码,并完善了漏洞检测机制。由于在大多数漏洞挖掘过程中是无法获得程序的源码进行模糊测试,只能使用灰盒模糊测试工具或者黑盒模糊测试工具进行测试。灰盒模糊测试工具或黑盒模糊测试工具的效率远低于白盒模糊测试工具,所以本文首先将二进制代码反汇编为可执行的源代码,然后再使用白盒模糊测试工具进行模糊测试。针对反汇编过程中存在栈转移位置导致栈无法监测的问题,本文通过栈污染技术实现对栈的检测。其次本文提出一种新的种子选择算法。为了能够让模糊测试覆盖到目标程序复杂结构,同时保证算法复杂性不是很高。本文从静态和动态两个方面搜集一些目标程序复杂结构相关的信息,转换为种子的分数,并应用在种子选择中,使得模糊测试可以借助更有趣的输入以对程序复杂结构覆盖更加全面。一方面,本文借助马尔可夫过程对程序控制流图中的基本块所处的复杂情况进行评估。对于马尔可夫过程无法处理控制流图中循环的情况,所以本文对模型进行改进以处理控制流图循环的情况。一方面,本文通过统计的方法来获取目标程序信息辅助模糊测试。最后本文将评估结果统一转化为种子的分数来辅助模糊测试过程。在最后的实验中,使用改进后的模糊测试工具在不同的目标程序中发现30多个漏洞,同时本文的模糊测试工具的覆盖率也比honggfuzz等工具提升5%。