随着现代网络技术的飞速发展,各式各样的网络应用层出不穷,新式网络服务的出现带来了大量的未知协议,这些未知协议使得当前网络环境日益复杂,出现网络安全问题的频率也越来越高。未知协议规范不公开且类型繁多,现有的网络协议分析方法和工具都是在了解协议所有信息的条件下进行分析和识别,无法适用未知协议。因此,如何准确且高效地识别未知协议类型和消息类型对维护网络安全和实施网络监控具有非常重要的意义。协议逆向工程因其无需先验知识就能对网络协议进行分析而被广泛应用到未知协议的研究领域中。本文从协议逆向前两个阶段的技术角度出发,即数据分类和格式提取,并且借鉴了机器学习中的深度学习和前沿聚类算法,以应用层未知协议为研究对象,对其两个不同阶段和粒度进行研究,即协议类型的分类和消息类型的聚类。论文的主要研究成果如下:1.提出并实现一种基于复合特征的未知协议类型分类方法。该方法针对网络数据流,将其外在特性的统计特征和内在特性的位图特征利用神经网络复合成一个新种类的特征。首先,使用自编码器对筛选出的统计特征进行降维。之后,将数据流转化成灰度图的形式进行位图特征的提取,该过程使用了残差神经网络,避免在特征提取过程中出现丢失的情况。最后,以压缩后的统计特征和位图特征为数据输入,利用全连接神经网络完成对协议类型的预测。实验结果表明,该方法能够有效地对网络数据流分类,验证了其可行性,并且相比较其他的未知协议分类方法具有更高的准确率。2.提出并实现一种基于层次密度的未知协议消息类型聚类方法。该方法借鉴了机器学习中无监督学习的思想,以二进制协议消息聚类为研究目标。先采用协议逆向工程中的格式提取技术对协议消息进行字段划分,并以此为前提给出一种新的协议消息相似度计算方法,该方法考虑到了协议字段中存在能够很好反应消息类型的频繁序列。最后,使用基于层次密度的聚类算法完成协议消息类型的分析。实验结果表明,该方法与基于密度的未知协议消息聚类方法相比,可以更准确和高效地实现协议消息类型的聚类。