论文部分内容阅读
随着Everything over IP思想的出现,各种异构网络向互联网融合,各种分离的业务平台也正在逐步融合为以IP为承载的综合业务平台,互联网中不断出现新的业务种类并衍生出很多新的业务形态,网络承载的业务越来越多并且呈献出新的特点:非关键业务正在吞噬越来越多的带宽资源,如P2P(Peer to Peer,P2P)类业务流量占用了近三分之二的骨干网带宽,影响了其他网络用户的正常使用;同时,网络游戏、高清晰IPTV等各种新兴业务不断涌现,使得网络业务日趋复杂多样,由于缺乏精细化的管控手段,无法掌握用户的网络行为、判断网络流量的类型。更为严重的是,对于一些不良信息,如非法宣传、网络病毒、网络攻击、垃圾邮件等,由于互联网缺乏有效的识别和管控手段,致使恶意信息能够通过网络广泛传播、大规模泛滥,对网络的安全和可信造成了严重威胁。由此可知,对网络流量中的各种业务成分进行准确识别,掌握流量业务和用户的组成及变化规律,拦截经由骨干网传播的不良信息,阻断经由骨干网进行的恶意攻击是当前网络管控工作的重点。传统的网络管控手段如流量工程技术、QoS服务质量技术等都是对网络带宽和流量进行管理的技术。随着互联网的发展,传统的基于带宽和流量的网络管理方法已经不能满足实际网络管理中的应用需求。目前进行互联网管控的趋势主要是向基于业务管控的方向发展,因此网络业务管控方面的研究已经成为互联网领域研究的热点问题。目前网络业务管控中业务识别使用的技术手段已经发展到当前流行的深度数据包检测(Deep PacketInspection,DPI)技术和深度数据流检测(Deep Flow Inspection,DFI)技术。然而随着网络速率的提高,以及业务精确识别和精细管控要求的提高,当前的深度检测相关技术已经不能满足高速网络条件下精确化和精细化的多业务识别需求,主要存在以下几个方面的问题:基于软件的处理方式效率低下;基于硬件的处理方式功耗偏大,系统成本过高;业务识控手段单一,仅能支持基于TCP/IP报文头部等固定位置信息的业务识别;采用分组抽样式处理对业务识别的准确度低,不能满足当前业务管控的精度需求;流量识别算法精度不高。针对上述问题,本文对网络业务管控系统中的深度检测相关技术进行深入研究,通过提高和改进深度检测技术和检测方案,能够较大程度的改善匹配速率、检测误报率等方面的检测性能,降低检测复杂度,满足网络业务管控系统对高速链路条件下线速深度数据包检测及深度数据流检测的实际应用需求。本文首先设计一种能够支持实时、深度、全维业务识别和控制业务管控新结构,提出以前端高速和后台深度联合的物理结构,和包括管控操作层、智能识别层、网管联动层的三层逻辑结构。在网络业务管控体系结构的设计基础上,研究网络业务管控系统中的深度检测相关技术。在深度数据包检测关键技术的研究过程中,设计适用于高速网络的线速深度数据包检测机制以及相关算法。本文提出一种内容级的多模式、多维度识别方案——CLM2IS方案,根据关键词域值取值和位置的不同对关键词进行分类,为不同类型的关键词设计高速有效的关键词匹配算法。对于固定关键词匹配,提出一种基于硬件加速的固定关键词精确匹配算法——HAFMA算法,引入流水线处理机制,缩短了查表时间,提高了处理效率;对于范围关键词匹配,提出一种多维度范围关键词匹配算法——MDFMA算法,通过将串行的多客体特征比较过程转化为一次并行查找操作,提高了处理效率;对于浮动关键词匹配,提出一种基于二级TCAM的浮动关键词匹配算法——T2FMA算法,通过模式预处理和二级TCAM结构的设计,降低了TCAM比较次数,减少TCAM硬件功耗,提高了模式匹配的速率。实验和分析部分说明本文提出的关键词匹配算法是有效的,能够明显改善匹配速率,适合于高速网络中线速的报文深度识别。在深度数据流检测关键技术的研究过程中,设计高速链路条件下的深度数据流检测机制和相关算法。本文采用基于传输层主机行为特征和流量统计特征的深度流识别机制,对于高速网络中的海量信息的存储,提出一种基于分级结构的流信息存储方案——TSFIS方案,将长流信息和短流信息分级存储,解决了存储容量与处理速度之间的矛盾;为了遴选出能够区分流量类型的流特征,提出一种基于信息度量的流特征选择算法——IMFCS算法,通过粗粒度和细粒度的数据流特征选择,降低了可选特征集合的冗余度和特征维数;在流量抽样测量中,提出一种动态自适应流量平衡抽样算法——DAFBS算法,提高了流抽样比并且降低抽样误差,更加准确的反映网络实际流量;对于未知流量和加密流量的识别,提出一种基于半监督学习的流量识别算法——S2MLFI算法,提高了对流量的分类和聚类的能力,提高了数据流识别和分类的准确率和识别率。实验和性能分析说明本文提出的深度流检测相关机制和算法的有效性,能够满足高速链路的深度流检测的需求。最后在数据包检测关键技术和深度数据流检测关键技术研究的基础上,设计高速网络业务管控深度检测系统。