随着加密技术的发展和安全攻防技术的升级,网络中加密流量比例越来越高。但加密技术不仅保护了用户的隐私还成了潜藏恶意行为的温床,不法分子经常使用加密算法对其恶意行为加密,加大其发现难度,对网络安全造成威胁。过去的深度包检测技术（DPI）需要对加密数据进行解密才能进行安全分析,不再适用于当前网络环境。目前不解密数据的情况下进行加密恶意流量检测已经取得了一些初步成果,但由于实验条件和真实网络环境存在较大差异,由此造成的训练-测试集不对等现象降低了模型有效性。网络协议升级和恶意病毒快速变种等引起的“概念漂移”现象,使得在旧数据上建立的模型不再适应新数据的检测,模型只具有短期时效性。此外,部分“狡猾”的恶意软件还会篡改流量指纹特征,伪装为正常流量,达到欺骗的作用,逃过现有模型的检测。本文对于以上三个问题均给出了解决方案,并在实际环境下取得良好效果。对于训练-测试集不对等现象,期望能够检测完整恶意行为产生的流量,但复杂真实网络下难以判定每条流量的来源。会话可以对通信双方信息交换进行结构化描述,且数据包、网络流与会话间存在聚合依存关系,本文将会话作为流量分析的最小单位,从数据包负载、网络行为特征、会话信息特征三个维度对流量指纹进行描述,使用集成学习中的两类代表算法（随机森林算法和Light GBM算法）对模型进行训练,准确率均达到99%以上,接着收集了校园网接口流量实现对复杂真实网络下恶意流量的检测,并使用Virus Total辅助证明了模型的有效性。之后,在恶意流量检测模型的基础上还实现了对恶意软件家族分类器的研究。对于“概念漂移”现象,将增量学习思想引入加密恶意流量检测中,基于集成学习的恶意流量检测模型无法满足模型长期有效性,且对它进行增量训练时存在算法复杂度随时间变化急速变大和对最近训练的数据更敏感这一问题,本文提出一种基于增量学习的AF-ISVM加密恶意流量检测模型,它改进传统的支持向量机,通过引入衰减因子改进学习新知识时遗忘旧知识这一”灾难遗忘”现象,它满足可以持续性的训练不同时间出现的新流量,并在旧有的数据集中表现良好,可以较完美的解决“灾难遗忘”问题;改进后算法的计算能力满足随着数目的增加固定或缓慢增加。经验证,改进后的AF-ISVM算法效果好于增量Light GBM算法和增量支持机ISVM算法。为了应对当前的加密恶意流量检测技术,部分恶意软件会篡改流量指纹绕过检测。本文提出一种基于自反馈的审查规避类加密恶意流量检测增量更新策略,可实现对审查规避类的加密恶意流量检测准确率达到88.9%,并保持模型的长期有效性。该方案引入自反馈函数对孤立森林训练加以约束,使模型在训练过程中更注重挖掘良性流量本身的数据特性,更容易察觉浅薄的恶意伪装者,并提出一种基于滑动窗口的增量更新策略,根据缓冲区异常率触发模型更新。此外,还发现该方案能够检测未来产生的恶意流量,实现提前监控与防御。