论文部分内容阅读
近年来,高性能计算机技术和应用技术飞速发展,在科学研究与国民经济建设中正发挥着日益重要的作用。以国家超级计算天津中心为例,该中心使用的天河一号超级计算机(TH-1A),应用领域广泛,主要应用领域包括石油勘探数据处理、生物医药研发、气象气候和海洋环境研究、航空航天飞行器研制、工程仿真等。TH-1A超级计算机在天津超算中心运行已4年多,实际运行表明:系统设计合理、综合性能好,系统稳定可靠,成功地完成了许多大规模、典型和复杂的计算任务。TH-1A采用Lustre文件系统作为存储系统,实践表明,Lustre系统为TH-1A的存储系统提供了良好的性能支撑,Lustre配置的灵活性使得TH-1A在面对不同应用时可以通过不同的配置参数实现应用性能的调优,特别是在超大规模的石油数据处理中的应用,获得了较好的应用,对充分发挥TH-1A系统的整体应用性能起到了非常重要的作用。同时,随着TH-1A应用服务范围的不断扩展,以及应用程序所处理的数据量的不断增加,TH-1A存储系统在海量数据存储和处理上也表现出了一些问题。如某些I/O密集型应用要求存储系统具有较快的读写速度,而Lustre文件系统易于在元数据存储和处理上形成瓶颈,影响存储系统整体的读写速度。另外,由于受限于内部高速互连网络端口的数量,使得OST的数量难以大幅扩充,以大容量磁盘(如3TB或者更大容量)替换目前的1-2TB磁盘来扩大存储系统的容量又会在磁盘失效时带来过长的数据恢复时间,影响存储系统的可维性,这两个原因使得TH-1A的存储系统在扩充存储容量时遇到了困难。TH-1A作为目前先进的高性能计算机,在存储系统方面表现出来的问题具有一定的代表性。在当前HPC TOP50的超级计算机,存储系统多采用Lustre,在面对相同的应用情况时也会表现出与TH-1A相类似的技术问题。由于超级计算机的Lustre系统在数据密集型应用时表现出一些问题,同时,我们又在研制新一代的超级计算机,为了了解现有的存储系统在各种典型的应用过程中出现不同问题的原因,研究解决问题和优化性能的技术方法,并为研制新一代超级计算机的新型存储系统提供研究和分析手段,有必要构建面向存储系统的功能和性能的模拟器,对目标系统进行模拟,分析存储系统的运行特性,研究分析存储系统的各种设计参数,优化现有存储系统,指导新的存储系统的设计。本文设计并实现了一种基于Lustre存储系统的存储系统模拟器,主要进行了以下几项研究工作:(1)研究目前典型I/O密集型应用对存储系统的性能要求,结合Lustre文件系统的组成结构和I/O操作流程,分析Lustre文件系统在I/O密集型应用时可能表现的问题。(2)分析目前软件模拟器设计的主要方法,提出了本文的Lustre系统模拟器的设计方法。(3)设计并实现了以Lustre文件系统为目标系统的存储系统模拟器Lustre Sim,并通过与TH-1A超级计算机Lustre系统性能测试和逆时偏移抽道集应用程序运行的对比分析,验证了其正确性与可用性。(4)研究了影响Lustre文件系统性能的关键因素,并提出了这些因素对性能影响的评估方案,在此基础上设计了实验,并使用Lustre Sim模拟器进行实验,明确了这些因素对Lustre文件系统I/O性能的影响,提出Lustre文件系统的一些配置建议。