面向Lustre文件系统的存储系统模拟器的设计与实现

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:szw_jlcc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,高性能计算机技术和应用技术飞速发展,在科学研究与国民经济建设中正发挥着日益重要的作用。以国家超级计算天津中心为例,该中心使用的天河一号超级计算机(TH-1A),应用领域广泛,主要应用领域包括石油勘探数据处理、生物医药研发、气象气候和海洋环境研究、航空航天飞行器研制、工程仿真等。TH-1A超级计算机在天津超算中心运行已4年多,实际运行表明:系统设计合理、综合性能好,系统稳定可靠,成功地完成了许多大规模、典型和复杂的计算任务。TH-1A采用Lustre文件系统作为存储系统,实践表明,Lustre系统为TH-1A的存储系统提供了良好的性能支撑,Lustre配置的灵活性使得TH-1A在面对不同应用时可以通过不同的配置参数实现应用性能的调优,特别是在超大规模的石油数据处理中的应用,获得了较好的应用,对充分发挥TH-1A系统的整体应用性能起到了非常重要的作用。同时,随着TH-1A应用服务范围的不断扩展,以及应用程序所处理的数据量的不断增加,TH-1A存储系统在海量数据存储和处理上也表现出了一些问题。如某些I/O密集型应用要求存储系统具有较快的读写速度,而Lustre文件系统易于在元数据存储和处理上形成瓶颈,影响存储系统整体的读写速度。另外,由于受限于内部高速互连网络端口的数量,使得OST的数量难以大幅扩充,以大容量磁盘(如3TB或者更大容量)替换目前的1-2TB磁盘来扩大存储系统的容量又会在磁盘失效时带来过长的数据恢复时间,影响存储系统的可维性,这两个原因使得TH-1A的存储系统在扩充存储容量时遇到了困难。TH-1A作为目前先进的高性能计算机,在存储系统方面表现出来的问题具有一定的代表性。在当前HPC TOP50的超级计算机,存储系统多采用Lustre,在面对相同的应用情况时也会表现出与TH-1A相类似的技术问题。由于超级计算机的Lustre系统在数据密集型应用时表现出一些问题,同时,我们又在研制新一代的超级计算机,为了了解现有的存储系统在各种典型的应用过程中出现不同问题的原因,研究解决问题和优化性能的技术方法,并为研制新一代超级计算机的新型存储系统提供研究和分析手段,有必要构建面向存储系统的功能和性能的模拟器,对目标系统进行模拟,分析存储系统的运行特性,研究分析存储系统的各种设计参数,优化现有存储系统,指导新的存储系统的设计。本文设计并实现了一种基于Lustre存储系统的存储系统模拟器,主要进行了以下几项研究工作:(1)研究目前典型I/O密集型应用对存储系统的性能要求,结合Lustre文件系统的组成结构和I/O操作流程,分析Lustre文件系统在I/O密集型应用时可能表现的问题。(2)分析目前软件模拟器设计的主要方法,提出了本文的Lustre系统模拟器的设计方法。(3)设计并实现了以Lustre文件系统为目标系统的存储系统模拟器Lustre Sim,并通过与TH-1A超级计算机Lustre系统性能测试和逆时偏移抽道集应用程序运行的对比分析,验证了其正确性与可用性。(4)研究了影响Lustre文件系统性能的关键因素,并提出了这些因素对性能影响的评估方案,在此基础上设计了实验,并使用Lustre Sim模拟器进行实验,明确了这些因素对Lustre文件系统I/O性能的影响,提出Lustre文件系统的一些配置建议。
其他文献
随着计算机技术、网络技术和分布式技术的发展,计算机用户正从单用户工作模式向多用户协同工作方向发展。计算机支持的协同设计(Computer SupportedCooperative Design)就是
随着互联网快速发展,网络应用层出不穷,网络承载的流量及业务越来越多,对网络的可靠性提出了巨大挑战。但网络故障时有发生,严重影响了网络的正常运行,给用户及网络服务商带
支持向量机(SVM)是基于统计学习理论的一种机器学习方法,它具有全局最优解和良好的泛化性能等优点。强化学习是一种无监督的机器学习技术,能够利用不确定的环境下Agent所获得的
数据挖掘是一个多学科领域,这些学科包括数据库技术、人工智能、机器学习等。数据挖掘是致力于数据分析和理解、揭示数据内部蕴藏知识的技术。由于数据库中存在着大量数据,因此
随着内置了多种传感器的智能手机的广泛普及和使用,智能手机已经成为一个集通信、计算以及感知于一体的移动计算平台。利用智能手机内置的传感器如加速度传感器和陀螺仪传感
汽车牌照自动识别系统是以汽车牌照为特定目标的专用计算机视觉系统,是计算机视觉和模式识别技术在智能交通领域应用的重要研究课题之一,是实现交通管理智能化的重要环节。
本文首先阐述了Agent技术、XML语言、Web Service技术的内涵和它们在现今的网络环境中的应用现状和发展前景。在理论方法和技术研究的基础上,提出了网络求购Agent系统的分布式
果蔬采收是一项劳动密集型的工作,在很多国家,随着劳动力的高龄化和人力资源的缺乏,人工采收的成本在果蔬的整个生产成本中占了很大的比例。而我国是一个农业大国,果蔬产量多,品种
本文以本体作为P2P系统中共享资源的统一描述形式,设计并实现了一个基于本体的语义P2P资源共享模型。该模型中采用基于Super-Peer的系统模型,创建一个全局本体作为全局视图保存
消费类电子、汽车电子、数控设备等嵌入式产品的需求日益增加,对嵌入式产品在系统的开发周期、软件复杂度管理、开发成本、功耗、性能等方面的要求也在不断的加大。鉴于嵌入式