随着Internet的不断发展,网络速度越来越快,结构越来越复杂,网络管理系统的重要性则更加突出。CERNET网络中心长期致力于网络管理系统的研究与开发,经过多年的努力,已经取得了不少成果。但是随着网络速度的飞速增长,网络数据采集技术开始制约网络管理系统的发展。 CERNET网络管理系统目前采用的是基于通用CPU架构的数据采集系统,其性能已经不能满足需求。本论文针对CERNET目前使用的数据采集技术,通过对大量测试数据和实际运行经验的研究,分析出了限制现有数据采集系统性能的因素,并指出这些因素是由通用CPU的体系结构导致的,性能改善余地不大。为了实现高速网络环境下的数据采集,本论文引入了网络处理器来应对网络带宽的冲击。 本论文系统地分析了网络计费系统、网络入侵检测系统、网络监控系统和网络测量系统对数据采集的需求,在此基础上设计了一套基于网络处理器的通用数据采集系统。该系统具有以下这些功能:过滤异常数据包,采集数据包包头及相关信息,提供归并后的数据流信息,提供多种统计信息。本系统主要针对千兆以太网和2.5G SDH网络设计,能够同时为以上四个网管功能系统提供数据支持。 数据采集系统需要实现从数据包到数据流的归并,流归并是整个系统的核心与难点。为了实现高速网络下的大规模流归并,本论文针对流归并的特点提出了基于几何空间分割原理的LCD-Cuts动态包分类算法。该算法灵活高效,用于流归并时性能十分优秀,而且具有良好的可扩展性,能够支持下一代IPv6网络。LCD-Cuts算法还可以用于负载均衡、入侵检测、网络地址转换等网络应用系统。 通过大量的调研和技术分析,本论文采用IXP2400网络处理器实现了一套针对千兆以太网的通用数据采集系统。测试表明本论文设计的基于网络处理器的通用数据采集系统性能高、可扩展性好,完全能够满足千兆以太网的数据采集需求,而且能够通过升级硬件平台支持2.5G SDH网络的数据采集。