随着互联网规模的不断增大以及应用范围的持续扩张,木马等恶意软件对用户的威胁也越来越大。在不断地与防护软件的对抗中,木马的隐藏与逃避技术也在不断发展进步,基于特征码匹配的检测技术对新型木马的检测效率已经大大降低。而基于行为模式的检测模型一直是研究的热点,也被认为是最有前途的检测方式。提出一种木马网络行为检测模型,基于深度学习自动提取数据流特征进行流量识别。基于循环神经网络擅长处理序列数据的优点,对软件通信数据流进行分析。首先以一个典型的木马样本为例分析了木马软件在网络行为上的特征。之后对软件的通信数据包进行分析,提取了有效的输入向量,减少了数据分析系统的数据处理量。然后结合输入向量的特征建立了LSTM模型,对输入数据进行时间序列特征的提取,之后使用多层CNN网络结构对特征进行进一步抽象分类。建立分析模型之后,结合PF_RING和TensorFlow实现了一个从数据包捕获到数据包预处理,直至行为分析与样本反馈管理的整个系统。基于实验室的硬件环境,搭建了模拟实验平台。通过搜集网络上已公开的木马样本,捕获了一定数量的木马通信数据流,对整个系统进行了训练,并做了实验验证。实验结果表明,提出的基于深度学习的木马检测系统是有效的,在一定的条件下能较准确的判断网络通信数据流的行为倾向。