随着信息时代的到来,人们访问互联网的速度越来越快,在人们浏览网站、邮件以及视频等应用时,不法分子利用植入其中的恶意木马来获取用户信息、控制用户电脑和破坏用户数据,大大破坏了互联网的健康发展,因此网络木马的检测和识别变得日益重要。近年来,随着深度学习技术的发展,通过将木马流量转化为图像等向量形式输入到深度学习网络来识别木马成为可能,涌现出了很多检测木马流量的新方法、新技术,并在实践中获得一定效果。如今应用比较成熟的木马检测技术主要有基于程序特征码、主机行为以及网络行为这三种方式。这三种检测方式分别存在不同的缺点:(1)基于程序特征码的检测方法依赖于静态木马样本的收集和分析,时间上存在滞后性。(2)基于主机行为的检测方法存在占用主机资源的问题(3)基于网络行为的检测方法主要依赖于木马特征的提取,存在特征提取不够精确的问题。如今木马检测的研究主要集中在基于网络行为的研究,其中基于传统机器学习方法的研究较为广泛,研究中存在人工无法标记所有流量,存在大量未标记的流量未被利用的问题。针对以上问题,本文采用基于网络行为的检测方法,通过引入深度学习的技术来解决人工提取特征不准确的问题,并将半监督深度学习与木马流量检测相结合,以利用大量的未标记流量样本用于模型训练。其中使用到半监督深度学习领域较为出色的mean teacher模型,它通过设定学生和教师两种深度学习网络,让两者同时训练来获得识别率的提升。除此之外,本文还通过将虚拟对抗训练的模型与mean teacher模型相结合,以改善模型的泛化性能,达到更好的检测分类效果。最后,本文设计实现了木马入侵检测系统,将理论模型用于实际的流量检测,获得了较好的效果。