论文部分内容阅读
高性能计算机(High Performance Computer,简称HPC)是~个国家的重要战略资源,对国家安全、经济和社会发展具有举足轻重的意义。互连网络是高性能计算机系统的关键组成部分,是决定高性能计算机效率的关键因素之一。
针对当前高性能计算机体系结构在大规模扩展时面临的新挑战,和不再单一以峰值计算能力作为评价标准的趋势,以及随着制造工艺的发展,微处理器向多核发展的现况,中科院计算所提出了超并行体系结构(Hyper Parallel Processing,简称HPP)。
面向HPP体系结构的网络接口控制器的设计技术取决于HPP体系结构的特点和所支持的编程模型,其主要实现三大功能:提供节点内的处理器连接、提供节点间互连的支持、为编程模型提供通信支持和同步支持。主要设计思想包括:(1)为支持多核处理器和三层并行体系结构,网络接口控制器应实现多线程通道和多链路接口,支持多链路并发核到核通信,实现节点内和节点间的两级互连;(2)网络接口控制器为通信软件提供远程立即数访问、远程内存访问、无地址数据包传递、系统控制操作和集合操作等接口;(3)为支持全局地址空间和消息传递编程模型,网络接口控制器提供直接寻址的硬件锁和专用同步网Barrier。
本文以实现超并行体系结构(HPP)的硬件支持为出发点,以曙光5000互连网络接口的设计和实现需求为背景,具体实现了一种特定结构的网络接口控制器。该网络接口控制器实现的技术包括内部总线接口、多线程通道控制管理、HPP多链路接口、DMA引擎、远程读写和专用同步网Barrier。重点研究了DMA引擎的流水实现和多链路的高效利用。根据实验结果,给出了通过调整时钟域划分来提高通信性能的结构优化方案。
所实现的网络接口控制器在FPGA平台下可以达到100MHz的频率,在不计算网络延时和CPU响应时间的情况下,同一节点内本地CPU间短消息单向传输延迟为180ns,远程单向传输延迟为450ns,网络有效数据带宽达到6.27Gbps。如果采用ASIC技术,则频率和带宽可以翻倍,延迟减半。