随着计算机技术和理论的发展,中尺度天气数值预报模式正在向精细化发展,因此如何提高高分辨率模式的计算性能同样是一个普适性的关键问题。测试基于WRF模式建立的时空高分辨率天气预报系统在高性能计算平台天河二号上的计算成本和稳定性,为天气预报业务部门针对预报保障对象建立精细化与经济效益达到最优平衡的预报系统提供有益的参考依据。天河二号超级计算机系统在2013年6月公布的第41届世界高性能计算TOP500排名中位列第一。彼时系统由170个机柜组成、包括125个计算机柜、8个服务机柜、13个通信机柜和24个存储机柜。内存总容量1.4PB,存储总容量12.4PB,最大运行功耗17.8兆瓦。峰值计算速度每秒5.49亿亿次、持续计算速度每秒3.39亿亿次、能效比每瓦特19亿次双精度浮点运算。WRF是1997年由美国的多个研究部门和大学的科学家共同参与开发的新一代中尺度预报模式。模式中采用地形追随静力气压形式的垂直坐标,水平格点为Arakawa C类格式。时间积分时也采用时间分裂积分法,对声波项采用时间分裂小步长时间积分方案,对非声波项采用3阶Runger-Kutta技术。本文测试时已建立和自行完善的操作环境包括64位的Kylin操作系统,串行编程语言包括C、C++、Fortran77/90/95以及环境编译库NETCDF4.1.3和ncarg6.2等,并行编程模型包括面向异构协同的Open MP,MPI。此外还需要说明的是,实际测试时由于天河二号正在进行系统的维护与高速互联网络的升级调试工作,所能满足的计算能力与硬件组成均与上述官方公布数据有一定差距,主要体现在可用计算节点过于分散以及I/O存储不稳定两方面。这些特点将在下面的测试结果分析中予以进一步说明。测试方案设计的出发点是,1)测试新版本的数值预报模式WRFv3.6在甚高分辨率下的模式积分时间与稳定性,其中水平分辨率6km、垂直分层47-57,区域范围内计算格点数1150×780;2)测试高分辨率条件下不同物理过程参数化方案的预报效果最优组合(计算结果待分析);3)针对前两点,测试可能改进提高计算性能的方法。具体测试结果如下:1.对于前处理插值程序而言,计算时间并未随着计算节点占用资源的增加而减小,且当计算节点分配过少时,计算时间最长。2.对于不同的垂直分层57、50和47而言,采用并行效率较高的144和192个线程得到的计算时间也相差不大。3.与垂直分层的不同对模式前处理的计算时间影响较小相反,无论采用多少计算节点,采用垂直分层57的模式积分时间远超过采用垂直分层50和47。一般而言,模式的积分时间随着分配的计算节点资源的增加而减少。4.即使在相同的计算资源配置、相同的时空分辨率、相同的预报时效的情况下,由于选择的物理过程参数化方案繁简的不同,也会影响模式预报real和wrf并行计算的时间。5.水平分辨率减少一半,系统各模块的并行计算墙钟时间则减少一倍以上,特别是当模式积分计算模块分配到相对最优的80个计算节点时,实际完整的预报过程,从前处理到模式产品输出仅40分钟。6.测试过程中发现模式实际积分计算的时间,会因为所设定的水平、垂直分辨率的不同以及所分配的计算节点资源的多寡而略有不同。但需要说明的是分布式输出会产生大量的(输出时次数×计算节点数×24)零碎、不连续的小文件,后续对这些文件进行拼接整合时所涉及到的磁盘的I/O读写时间也许也需要耗费近乎相当的计算时间成本。综上,测试高分辨率WRF模式在天河二号超级计算系统平台上的运算性能与效率的过程中,总结遇到的问有以下几点考虑。一是不能最大限度地发挥天河二号系统的峰值性能。由于所能分配的计算节点过于分散,一半以上的节点是位于不同的计算机柜上,甚至若干计算节点处于不稳定状态,导致对并行计算过程中程序易中断退出以及彼此间通信交换时间过长或是效率偏低;二是I/O读写时间偏长。此特点稳定且不可避免,为较高时间分辨率输出的模式预报带来一定的难度,必须针对此问题进行独特定制的解决方案(比如:在设备采购时,对其提出I/O速度和吞吐量的要求;在环境变量中增加"setenv WRFIO_NCD_LARGE_FILE_SUPPORT 1"项;异步I/O等;三是应最大限度地分配计算节点资源在同一或相邻计算机柜上,以尽可能减少不必要的通信交换时间。同时考虑如何控制错峰输出写入、减少写入输出文件的时间也是一个行之有效的途径之一。此外,仍需进行大量的统计对比试验,在保证预报效果较优或相当的情况下,选择相对简单的物理过程参数化方案,也是减少计算代价的手段之一。最后,模式不同物理过程参数化方案、不同分辨率和不同静态下垫面边界数据的组合方案对模式敏感性及预报时间的测试结果表明,模式的预报效果并不是单一地随着模式分辨率的提高而提高,也并不一定与模式物理过程参数化方案的复杂程度成正比,需要针对特定的水平和垂直分辨率,根据用户需求的气象预报保障指标而可行的计算代价,选择最优的物理过程参数化方案,以达到更有效地提高预报效果。