随着信息技术的发展和社会信息化程度的不断提升，网络在人们日常生活中的地位和作用日趋上升，互联网上难以计数的协议和应用以及数十亿网络用户的复杂行为交织在一起形成了一个巨复杂的网络系统。因此，保持网络良好的健壮性和高可用性不仅是互联网自身发展的需求，更是人类社会健康发展的基础条件。尤其是近年来云计算技术的蓬勃发展，以及由此带来的信息应用服务化和服务云端化趋势，使得互联网的复杂度进一步提升，而其稳定性要求也更加突出，因此，必须从更高标准出发研究提高网络安全保护水平的关键技术，而高速复杂网络环境下的异常流量检测技术是其中一个重要环节。本文依托国家863计划“高可信网络业务管控系统”（2009AA01A346）和国家科技支撑项目“面向融合网络的大规模接入汇聚路由器关键技术研究与产业化应用”（2011BAH19B00），针对高速复杂网络环境下的异常流量检测技术进行研究。主要研究成果如下：1.对异常流量检测技术的研究现状进行了全面的总结，并将已有方法与高速复杂网络环境下的异常检测需求进行了深入的对照分析，提出了基于混合粒度的异常流检测思路。2.提出了基于网络异常流长分布的自适应流抽样算法FSAS（Flow Size AdaptiveSampling）。分析了FSAS的性能并进行实验验证，结果表明FSAS算法不仅对高速骨干网络海量数据进行了有效约减，同时还保持了疑似异常流量的特性。3.提出了基于符号序列的网络流量描述方式并从理论上对其特性进行了深入研究。该方法可以将复杂的海量流量数据转化为有限集合内的样本数据。通过定义符号间互信息持续性度量CMI（Continuance Mutual Information），研究了符号序列的独特统计特性，并指出了CMI用于流量检测的可行性。4.建立了刻画网络流量互信息持续性度量特性的结构化符号序列模型TSTM（Tri-STraffic Model：Structural Symbol Sequence Traffic Model）。该模型基于网络流量的CMI特性，结构简单，参数数量少且具有明确的物理意义。采用实际的数据流量对此型模型的有效性进行了验证。5.提出了无监督的网络异常溯源算法URCA（Unsupervised Root Cause Analysis）。URCA基于网络流量的符号化和TSTM模型实现。对实际流量数据的评估结果验证了该异常流量检测算法的有效性。6.结合课题需求，设计了一种能够嵌入大规模汇聚路由器ACR的异常流量分类识别系统。详细的实验结果以及实际应用效果证明本文多提出的流量分类识别系统的可行性。