近年来,随着物联网技术的快速发展,网络安全问题也逐渐凸显出来。为了满足不同场景下的通信需求,网络中出现了大量用于设备之间数据交互的通信协议,其中不乏协议规范未公开的私有协议,这便导致获取此类协议的描述信息比较困难,对协议的安全分析与网络入侵检测都造成了较大的影响。因此,本文采用协议逆向的方式,从网络流量中推断未知协议的状态机,并基于协议状态机分析流量中的协议行为特征,以检测入侵行为。主要的研究内容如下:首先,为了分析物联网中未知协议的行为信息,本文提出一种基于状态字段的未知二进制协议状态机推断方法。针对目前协议状态机逆向过程中协议消息标识不准确的问题,从协议实体在当前状态的接收报文与发送报文的关联考虑,基于条件熵进行协议状态相关字段的提取,并在状态字段的粒度选择上,以半字节和字节为粒度进行分析,并设计了相应的字段合并方法,以提高消息标识的准确率。在协议状态机构建方面,针对目前在状态机构建过程中状态节点过多从而影响效率的问题,提出基于等价状态的状态机构建与更新并行的方案。最后在物联网协议MQTT和RFID上进行测试,有效提取了协议状态字段,推断出了比较准确的协议状态机。然后,在对物联网中未知协议状态机逆向的基础上,提出了一种基于协议状态机的网络入侵检测方法。首先分析网络流量中的协议行为特征,并结合之前所推断的协议状态机建立协议行为概率模型。然后根据协议行为概率模型分析物联网中攻击行为的异常特征,提出了一个两阶段入侵检测方案,分别进行分布式攻击检测与基于会话的攻击检测,从而检测物联网中的异常行为。最后,在基于MQTT进行通信的物联网流量上进行实验,准确地检测出了流量中的攻击行为。最后,在前两项研究的基础上,设计并实现了面向物联网未知协议的网络入侵检测原型系统。该系统通过Django框架搭建,所有的功能实现部分均部署在服务器上,使用者则可以在Web端登录和使用。系统主要分为两个模块,分别是协议状态机推断模块和基于状态机的入侵检测模块。在该系统中,使用者可以从未知的物联网流量中推断协议状态机,并基于状态机进行异常流量检测。