论文部分内容阅读
上海交通大学是教育部直属、教育部与上海市共建的著名高等学府，也是国家重点建设、全国首批7所“211工程”和首批9所“985工程”建设的高校之一。该校在信息化建设方面始终走在前列，率先建成了采用WDM技术的跨城域校园网，为数万名师生提供高质量的网络接入和信息服务。随着学校规模的不断扩大，上海交通大学在徐汇、闵行、七宝三个校区之间部署了带宽达10Gbps的校园网主干环路；三个主要校区和其他校区间也采用了1Gbps链路构成网状拓扑结构，使每个校区与其他校区之间存在两条以上的冗余链路，保证了各个校区间互连互通；闵行校区内主要汇聚点之间也分别实现了10G环状连接，保障了校园网运行的稳定、可靠。
作为中国教育和科研计算机网络(Cernet)华东南地区网、上海教育与科研计算机网(Shernet)和校园网(SJTUnet)的建设、管理单位，上海交通大学网络信息中心拥有很强的科研实力，长期担负着三大网络运营维护的艰巨任务。在此过程中，该中心充分发挥科研能力上的优势，独立自主地解决了许多难度较大的运维问题。我们在连载中就曾经提到，该校两年前在对校园网出口入侵检测系统的选型中，遇到了市售产品难以满足需求的窘况。在充分分析了业务需求的前提下，网络信息中心的老师带领团队自行研发，以多组x86服务器分布式处理的方式实现了对万兆链路的实时监测。这样的方式不仅构建了一个开放的、可以承载多业务的科研平台，更将科研成果转化为实际的安全服务，为校园网的稳定运行提供了保障。
虽然上海交通大学校园网目前拥有多条出口链路、总计超过10Gbps的链路带宽，但在愈发丰富、模式愈发复杂的网络应用面前，也不是永不拥塞的高速路。目前，流量的可视化与可控性已成为老师们重点关注的问题，他们需要一个强大的应用流量分析管理系统，为运营维护乃至下一步网络建设规划提供准确的参考依据。经过细致地评估，老师们初步选定了连续两年获得计算机世界年度产品奖的Panabit应用层流量管理系统。不过，与大多数同级别通信、安全产品不同，该系统运行在x86而非MultiCore-MIPS或NP平台上，而老师们（或者说是大多数人）对于x86平台在万兆环境中稳定工作都没有太多信心。
来吧，就让测试去证明一切。
规格全面提升的5520平台
上海交通大学网络信息中心的老师们为这次测试准备了一台戴尔PowerEdge R710服务器，它是戴尔为第一代Nehalem-EP处理器平台及其后续Westmere-EP处理器平台设计的2U机架式产品。PowerEdge R710基于英特尔5520 IOH芯片（代号Tylersburg-36D）设计，提供了36个PCIe2.0信道，最多支持两颗英特尔Xeon 5500/5600系列处理器，可以搭配英特尔ICH9或者ICH10使用。在英特尔尚未明确推出Sandy Bridge嵌入式解决方案的今天，基于5520芯片组的产品仍然是目前设备制造商与用户能够获取到的最高端x86平台。
得益于戴尔灵活的定制化销售模式，测试使用的这台PowerEdge R710配置了一颗英特尔Xeon X5690处理器。它支持SMT超线程技术（测试中关闭），具有6个核心、12个硬件线程，主频达到3.46GHz，最大的Turbo Boost频率高达3.73GHz，属于英特尔32nm Westmere-EP处理器家族中的最高端产品。这颗处理器中的每个核心都具有32KB的L1指令缓存和L1数据缓存及256KB的L2缓存，所有核心共享一个12MB的L3缓存。此外，Xeon X5690还通过两个6.4GT/s的QPI总线和另一颗处理器以及5520/5500 IOH芯片通信，QPI总线是一个双向的并行总线，在X5690上，其单向带宽为12.8GB/s。
由于集成了较高规格的内存控制器，单颗Xeon X5690可以支持3通道R-ECC DDR3内存，每通道又支持最多3个R-ECC DDR3 DIMM。在使用能够支持的最高规格的16GB内存条的时候，每颗处理器可拥有144GB的总内存容量，整个系统（双路配置）则可达到288GB的最大容量。X5690支持的最大内存频率规格为DDR3-1333，不过当所有DIMM插槽都插满内存的时候，运行频率将会降低至1066。而本次测试使用的这台PowerEdge R710服务器配置了3条4GB容量的内存，运行在3通道模式。
英特尔Xeon X5690处理器通过6.4GT/s的QPI总线连接到5520 IOH上，而IOH目前主要的功能就是提供更多的PCIe总线连接，这正是网络通信产品所需要的。英特尔5520 IOH提供了36个PCIe 2.0信道和一个连接ICH芯片的ESI总线接口，这个ESI总线就是桌面级IOH芯片常用的DMI总线，其实质是一个x4的PCIe 1.0界面。而36个PCIe 2.0信道则以10个端口的形式提供，分别为8个x4的端口以及两个x2的端口。其中8个x4的端口可以聚合为4个x8或者两个x16端口，另外两个x2的端口则可以聚合为一个x4端口，但是不能与其余8个x4端口进一步聚合。我们知道，PCIe 2.0的每个信道可以提供5.0GT/s的单向传输速率（500MB/s），因此5520 IOH提供了巨大的IO带宽。在不需要这么多带宽的场合，英特尔也推出了一个简化版的5500 IOH产品，将PCIe信道数量减为24个。它的代号是Tylersburg-24，这一命名就体现出了PCIe信道的数目。
与时俱进的网络子系统
和桌面级与嵌入式产品不同，在服务器上，所有的高速设备都直接连接到IOH芯片上，而不是相对低速的ICH芯片，理论上减少了性能瓶颈。测试使用的PowerEdge R710服务器上提供了1条PCIe v2.0 x16插槽和两条PCIe v2.0 x4插槽，分别连接到3组顶级网络控制器。其中一组是一块基于英特尔82599EB芯片的英特尔X520双口万兆网卡，另两组是基于英特尔82576EB芯片的双口千兆网卡，一共提供了两个万兆接口和4个千兆接口。实际上，戴尔PowerEdge R710还板载了4个基于Broadcom网络控制器的千兆接口，但在测试中并未用做业务处理。
英特尔X520双口万兆网卡使用的82599EB是一个强大的网络控制器，是目前英特尔在万兆级产品中最顶级的型号。该芯片原生两个万兆接口，每个接口都可以支持128个TX/RX队列，并可以根据情况最多划分为64个RSS（Receive Side Scaling，接收方扩展）队列。此外，82599EB还支持MSI和MSI-X（Extended Message Signaled Interrupt，扩展消息告知中断)特性和一些与数据中心应用密切相关的高级功能。由于万兆环境下的数据传输需要巨大的带宽，82599EB推荐使用PCIe v2.0 x8或以上规格接口进行连接，否则可能会出现瓶颈。
英特尔82576EB也是比较强大的网络控制器，使用PCIe v2.0 x4接口进行连接，是82580出现前千兆级产品中的顶级型号。该芯片原生两个千兆接口，每个接口支持16个TX/RX队列，最多可划分16个RSS队列。和82599EB一样，82576EB也支持MSI和MSI-X，并支持VMDq、VMDc等虚拟化功能。在与英特尔服务器级Tylersburg IOH芯片搭配时，82576EB和82599EB可以通过I/O AT技术加速其DMA传输性能。
作为中国教育和科研计算机网络(Cernet)华东南地区网、上海教育与科研计算机网(Shernet)和校园网(SJTUnet)的建设、管理单位，上海交通大学网络信息中心拥有很强的科研实力，长期担负着三大网络运营维护的艰巨任务。在此过程中，该中心充分发挥科研能力上的优势，独立自主地解决了许多难度较大的运维问题。我们在连载中就曾经提到，该校两年前在对校园网出口入侵检测系统的选型中，遇到了市售产品难以满足需求的窘况。在充分分析了业务需求的前提下，网络信息中心的老师带领团队自行研发，以多组x86服务器分布式处理的方式实现了对万兆链路的实时监测。这样的方式不仅构建了一个开放的、可以承载多业务的科研平台，更将科研成果转化为实际的安全服务，为校园网的稳定运行提供了保障。
虽然上海交通大学校园网目前拥有多条出口链路、总计超过10Gbps的链路带宽，但在愈发丰富、模式愈发复杂的网络应用面前，也不是永不拥塞的高速路。目前，流量的可视化与可控性已成为老师们重点关注的问题，他们需要一个强大的应用流量分析管理系统，为运营维护乃至下一步网络建设规划提供准确的参考依据。经过细致地评估，老师们初步选定了连续两年获得计算机世界年度产品奖的Panabit应用层流量管理系统。不过，与大多数同级别通信、安全产品不同，该系统运行在x86而非MultiCore-MIPS或NP平台上，而老师们（或者说是大多数人）对于x86平台在万兆环境中稳定工作都没有太多信心。
来吧，就让测试去证明一切。
规格全面提升的5520平台
上海交通大学网络信息中心的老师们为这次测试准备了一台戴尔PowerEdge R710服务器，它是戴尔为第一代Nehalem-EP处理器平台及其后续Westmere-EP处理器平台设计的2U机架式产品。PowerEdge R710基于英特尔5520 IOH芯片（代号Tylersburg-36D）设计，提供了36个PCIe2.0信道，最多支持两颗英特尔Xeon 5500/5600系列处理器，可以搭配英特尔ICH9或者ICH10使用。在英特尔尚未明确推出Sandy Bridge嵌入式解决方案的今天，基于5520芯片组的产品仍然是目前设备制造商与用户能够获取到的最高端x86平台。
得益于戴尔灵活的定制化销售模式，测试使用的这台PowerEdge R710配置了一颗英特尔Xeon X5690处理器。它支持SMT超线程技术（测试中关闭），具有6个核心、12个硬件线程，主频达到3.46GHz，最大的Turbo Boost频率高达3.73GHz，属于英特尔32nm Westmere-EP处理器家族中的最高端产品。这颗处理器中的每个核心都具有32KB的L1指令缓存和L1数据缓存及256KB的L2缓存，所有核心共享一个12MB的L3缓存。此外，Xeon X5690还通过两个6.4GT/s的QPI总线和另一颗处理器以及5520/5500 IOH芯片通信，QPI总线是一个双向的并行总线，在X5690上，其单向带宽为12.8GB/s。
由于集成了较高规格的内存控制器，单颗Xeon X5690可以支持3通道R-ECC DDR3内存，每通道又支持最多3个R-ECC DDR3 DIMM。在使用能够支持的最高规格的16GB内存条的时候，每颗处理器可拥有144GB的总内存容量，整个系统（双路配置）则可达到288GB的最大容量。X5690支持的最大内存频率规格为DDR3-1333，不过当所有DIMM插槽都插满内存的时候，运行频率将会降低至1066。而本次测试使用的这台PowerEdge R710服务器配置了3条4GB容量的内存，运行在3通道模式。
英特尔Xeon X5690处理器通过6.4GT/s的QPI总线连接到5520 IOH上，而IOH目前主要的功能就是提供更多的PCIe总线连接，这正是网络通信产品所需要的。英特尔5520 IOH提供了36个PCIe 2.0信道和一个连接ICH芯片的ESI总线接口，这个ESI总线就是桌面级IOH芯片常用的DMI总线，其实质是一个x4的PCIe 1.0界面。而36个PCIe 2.0信道则以10个端口的形式提供，分别为8个x4的端口以及两个x2的端口。其中8个x4的端口可以聚合为4个x8或者两个x16端口，另外两个x2的端口则可以聚合为一个x4端口，但是不能与其余8个x4端口进一步聚合。我们知道，PCIe 2.0的每个信道可以提供5.0GT/s的单向传输速率（500MB/s），因此5520 IOH提供了巨大的IO带宽。在不需要这么多带宽的场合，英特尔也推出了一个简化版的5500 IOH产品，将PCIe信道数量减为24个。它的代号是Tylersburg-24，这一命名就体现出了PCIe信道的数目。
与时俱进的网络子系统
和桌面级与嵌入式产品不同，在服务器上，所有的高速设备都直接连接到IOH芯片上，而不是相对低速的ICH芯片，理论上减少了性能瓶颈。测试使用的PowerEdge R710服务器上提供了1条PCIe v2.0 x16插槽和两条PCIe v2.0 x4插槽，分别连接到3组顶级网络控制器。其中一组是一块基于英特尔82599EB芯片的英特尔X520双口万兆网卡，另两组是基于英特尔82576EB芯片的双口千兆网卡，一共提供了两个万兆接口和4个千兆接口。实际上，戴尔PowerEdge R710还板载了4个基于Broadcom网络控制器的千兆接口，但在测试中并未用做业务处理。
英特尔X520双口万兆网卡使用的82599EB是一个强大的网络控制器，是目前英特尔在万兆级产品中最顶级的型号。该芯片原生两个万兆接口，每个接口都可以支持128个TX/RX队列，并可以根据情况最多划分为64个RSS（Receive Side Scaling，接收方扩展）队列。此外，82599EB还支持MSI和MSI-X（Extended Message Signaled Interrupt，扩展消息告知中断)特性和一些与数据中心应用密切相关的高级功能。由于万兆环境下的数据传输需要巨大的带宽，82599EB推荐使用PCIe v2.0 x8或以上规格接口进行连接，否则可能会出现瓶颈。
英特尔82576EB也是比较强大的网络控制器，使用PCIe v2.0 x4接口进行连接，是82580出现前千兆级产品中的顶级型号。该芯片原生两个千兆接口，每个接口支持16个TX/RX队列，最多可划分16个RSS队列。和82599EB一样，82576EB也支持MSI和MSI-X，并支持VMDq、VMDc等虚拟化功能。在与英特尔服务器级Tylersburg IOH芯片搭配时，82576EB和82599EB可以通过I/O AT技术加速其DMA传输性能。