随着互联网规模不断扩大,各类网络不断地出现和发展,各场景下新的网络协议层出不穷,现有的网络协议也根据不同环境需求出现各种变化。在对网络系统进行功能维护和安全管理时,未知协议给分析人员造成了极大不便。在如异常检测,流量分析等具体的管理或安全维护中,网络协议规范的逆向分析工作显得异常重要。在此需求下,协议逆向工程应运而生,近年来获得了大量研究人员的关注与发展。协议逆向技术根据可分析对象的差异主要有面向网络报文和面向终端程序两类。虽然后者相关理论较为成熟,但受限于分析对象的可用性使其在很多场景中无法实施。而网络报文作为协议通信过程的交互数据则相对易于获取,相应的分析方法因具有应用广泛、自动化程度高等优势而备受关注。但目前的相关研究在分析方法的通用性、结果的准确性,以及对目标协议规范的还原程度和模型的表达能力等方面仍然存在较多问题,很大程度上限制了对未知目标协议的分析能力和结果质量。本文综合运用数据挖掘的相关理论、技术和方法,对面向网络数据的协议逆向分析过程中的关键问题进行探索。为了在提高逆向分析效率和效果的同时通过降低对先验知识的依赖来提高方法的通用性,针对目前领域内存在瓶颈的报文格式聚类、报文头部通用域分析、交互行为建模及逆向推断等问题进行深入探索,主要研究如下:1.提出一种基于格式相似性的无监督报文聚类方法对混杂的未知协议报文进行聚类分析。在对未知协议报文格式距离度量中,通过对数据进行合理语法标记并优化序列比对算法,来对分词和报文的格式相似度进行度量。对于无监督聚类过程中参数调节问题,使用无监督聚类质量评价指标对算法参数进行调控,使得分析过程脱离人工干预。实验结果表明,本文提出的方法相比于同类研究具有明显性能优势,且在不同分布的多组数据集上能够得到更为稳定的聚类结果。2.提出一种基于信息熵的定长域通用分析方法对未知协议报文头部格式域进行划分和识别。通过提出互信息饱和度来度量相邻位置数据分布的相关性,结合自信息,对未知协议报文头部不同偏移处数据的分布规律进行分析,并设计报文头部定长域的通用分段算法。将此分段算法与分隔符识别相结合,设计并实现了在有限假设条件下的针对有状态协议状态相关域的识别和划分。实验结果表明,本文方法可以对协议报文中存在的通用域进行有效划分,并且能够准确提取报文中存在的状态相关域字段。这方面的研究对于推动未知协议报文通用格式逆向分析和重要字段准确提取具有重要的促进意义。3.提出一种可集成协议报文交互方式和统计信息的协议行为描述模型——随机协议转换器,以及可缓解结果模型过度泛化的协议行为模型逆向推断方法。该模型因为能够在面向协议报文的行为逆向分析过程中统计报文交互行为,从而具备一定的行为预测能力。该推断方法以目标协议的随机协议转换器模型作为推断目标,通过状态标记序列补偿、行为模型前缀树构建和化简,以及行为概率计算等一系列过程来进行分析和推断。在化简前缀树时,通过设计合理的兼容状态合并规则来对结果模型的泛化程度进行控制。实验结果表明,该逆向推断方法分析得到的随机协议转换器模型在行为预测方面具有准确率高,覆盖率广,运算代价小等优点。4.提出一种基于随机协议转换器模型的协议行为渐进式逆向推断方法。通过以增量更新的方式对目标协议报文状态标记序列进行渐进式分析,在推断的过程中实现兼容状态的实时化简,使得重构出的行为模型在此过程中维持在接近最简的状态,从而避免了由构建状态机前缀树所造成的状态爆炸问题。实验测试表明,相比于前一种协议行为模型逆向推断方法,该渐进推断方法可以在牺牲少量预测准确率的情况下,有效地降低行为逆向分析过程的计算代价,尤其在进行大规模数据分析时具有更加明显的优势。