21世纪是信息化、网络化的时代，通过网络而进行的信息交换越来越多，软件中所出现的漏洞也层出不穷，出于安全考虑，越来越多的软件都对网络协议进行了加密，恶意软件也通过协议加密来阻止安全人员的逆向分析。加密协议格式逆向解析有助于软件分析，也是漏洞挖掘的基础；而漏洞挖掘不仅暗含商业价值，也有助于保障信息安全。然而，当前加密协议格式逆向技术尚不成熟，加密协议漏洞挖掘几乎空白，所以具有广袤的探索空间。分析加密协议格式，首先需要找到解密函数，然后再找到解密后明文缓冲区，最后分析明文格式。已有的研究成果在解密函数的筛选方面有很大的不足，针对这些不足，一方面对原有的筛选方式进行了改进，通过使用动态污点跟踪还有函数代码片段合并，大大减少了疑似解密函数的数量；另一方面提出了相关度和计算强度这两个新的筛选方式。相关度用来排除与输入数据相关度小的非解密函数，计算强度用来排除逻辑简单的非解密函数。使用这两个新的筛选方法后，可以大大减少疑似函数的数量并降低误报。加密协议格式逆向一方面指出了解密后明文缓冲区所在的位置，另一方面提供了明文数据格式。在此基础上，将内存模糊测试方法应用到加密协议的测试上，依据逆向解析的数据格式，对解密后的明文缓冲区进行内存模糊测试，实现了一种加密协议漏洞挖掘的方法。在已有动态污点跟踪平台上实现了解密函数定位系统，在pydbg上实现了加密协议模糊测试系统。为了测试解密函数定位方法的效果，使用原有方法和改进后的方法对部分聊天软件、翻墙软件进行了测试和对比分析，测试结果表明，改进后的方法可以降低误报，效果优于原有方法。为了验证加密协议内存模糊测试的有效性，对shttpd的已知漏洞进行了测试和验证，证明了这种漏洞挖掘方法的有效性。