网络流量分析作为计算机网络基础理论研究的前沿性热点问题之一，对于了解网络的行为，提高网络性能，以及保障网络安全具有重大的科学意义及应用价值。计算机网络是一类典型的巨复杂系统，网络系统中存在大规模非线性动力学行为（包括混沌和分形现象），社会性的交互行为（包括竞争、合作、欺骗、对抗等）以及广义的新陈代谢行为（包括软件、硬件、应用等），这些海量存在的通信实体和彼此之间的短距非线性相互作用使得网络流量越来越复杂，因此迄今为止，尚未能够建立一个有效描述网络流量特征的数学模型。其次，传统的基于微观的异常检测方法，其线性叠加往往不能和网络的复杂行为相一致。根据Gilder定律，网络带宽急剧膨胀，基于大规模网络实时性无状态保留的需求势必使目前检测方法的虚警率和漏警率居高不下。因此，准确、客观、实时地分析网络流量特性并引入全新的异常检测研究方法来保持网络安全运行是十分必要的。随着分形理论的发展，研究者对网络流量的研究不断地深入。大量的流量监测结果表明：在任何时间、任何地点、任何网络环境下，流量自相似特性在计算机网络中普遍存在，与网络类型、网络规模、网络拓扑结构、数据传输协议和网络服务几乎无关。因此，通过对网络流量分形特性的研究，并进行异常检测将具有较高的检测率，较低的虚警率和最广泛的适用性。本文针对上述问题，对流量分形特性和异常检测技术进行深入研究，并且提出了有效的解决方案，取得了一定的科研成果。本文的主要研究成果如下：1、通过分析网络流量的非平稳特性及自相似特性，提出了一种非平稳网络流量自相似模型。已有的研究在对网络流量建模时都假设流量是平稳的，而实际采集的网络流量并非全部平稳。在这种情况下，本文提出的模型首先对非平稳网络流量在自相似变化点进行实时分割，其次估计出分割后的子流量局部自相似参数，并根据该参数的大小从候选的自相似模型中自适应地选择一种对子流量进行建模。本文提出的模型能够克服流量非平稳特性对自相似建模精度的影响。2、提出了一种基于Hurst指数变化的DDoS攻击检测方法。当流量的自相似参数与模型估计值差值超过给定阈值时，判定DDoS攻击发生。对于检测阈值的设定，本文提出了基于顺序统计阈值设定法及基于最大似然估计阈值设定法，并从统计数学角度给出了检测率和虚警率。本文提出的检测方法使用Hurst参数作为检测元，不需要深入分析采集的流量数据包，只需统计分析流量数据长度，具有快速实时的优点，并且该方法不针对具体的协议、具体的检测平台，具有很强的移植性。3、在深入分析GC模型的特点后，通过考察GC模型的分形维D与自相似参数H在DDoS攻击前后的变化规律，提出了一种DDoS攻击检测方法，并给出了该检测方法的检测原理。此外，本文还提出一种基于Dempster-Shafer证据理论的D检测子与H检测子检测结果融合方法，增强了单个检测子的检测性能。由于使用了二元参数检测，提出的检测方法能够更加有效的检测网络中的DDoS攻击，尤其是轻度DDoS攻击及短时DDoS攻击。4、利用模糊逻辑在决策推理方面的优点，提出了一种基于模糊逻辑的DDoS攻击检测及强度判断方法。该方法通过估计流量在攻击前后自相似参数H以及自相似变化程度HC后，依据模糊推理规则做出攻击是否存在以及推断攻击的强度。该方法不仅可以实时地检测网络中是否存在攻击，并能够实现攻击时刻的检测及攻击强度的智能判别。