近几年来,超级计算技术在科学研究和国民经济建设中扮演越来越重要的角色,应用领域也更加广阔。当前,超级计算和数据存储正迈向E级时代,超级计算机系统计算能力迅速提升,数据规模急剧增大,存储与计算的矛盾日益突出,对超级计算机系统数据处理能力提出巨大挑战。本文主要针对超级计算机大规模存储系统中存在的问题,结合天河超级计算机并行存储系统的研制任务,围绕如何利用新型存储介质提升存储系统的I/O效能,开展新型存储体系结构、元数据服务系统的优化、闪存存储介质及存储阵列的性能优化、系统功耗优化等关键技术的研究,以提升大规模并行存储系统对海量数据的存储能力和处理能力。论文的主要研究工作和创新点如下:1.针对当前的对并行存储系统的优化缺乏量化策略,通过分析理想的并行存储系统模型,研究并行存储中的行为方法,给出了并行存储系统的带宽和延迟的行为模型。根据存储的数学模型和优化策略对并行存储系统体系结构进行了优化,提出了一种新型可定义存储架构。实验表明该架构在可扩展,可升级以及可配置优化方面具有更好的特性。2.针对传统元数据管理技术存在的瓶颈问题,本文根据分区并行、集中管理的设计思路,提出了基于闪存存储阵列和大SMP节点服务平台的元数据分域处理技术,实现了支持高并发的基于固态存储阵列的元数据服务器。实验表明,该技术显著提高了元数据服务的I/O吞吐率和可扩展性,并行存储系统的文件创建和查询速度提升了大约5倍。3.针对大规模并行存储数据带宽高,延迟低的要求,根据程序的局部性原理,采用预测策略重新设计了新的FTL映射策略,该策略有效降低了FTL转换带来的延迟,提升了闪存的读写速率。同时优化算法通过减少地址映射信息未命中而引起的固态盘内额外读写操作,可以有效提高固态盘的整体读写性能,并延长固态盘的使用寿命。4.针对闪存构建RAID以后带来的寿命急剧减少的问题,本文提出了一种基于缓存的可重构RAID策略。一方面,利用失效数据继续在介质中存在的特点,保护有效数据,从而避免了校验码的频繁更新问题,延长了闪存的寿命;另一方面,利用缓冲区写和闪存读可并发的特性,提升了RAID的带宽,降低了I/O访问的延迟;此外,利用缓冲区的替换策略可以将具有同一读写特性的数据汇聚到相近的位置,显著加速了垃圾回收的过程。实验证明相比传统的RAID策略,该策略可以大幅减少垃圾回收和擦除的次数,显著提升闪存介质的使用寿命。5.针对未来基于非易失存储介质的计算存储相融合的系统架构。本文根据大规模非易失存储的计算存储系统的功耗模型,提出了基于通信类的模拟退火算法,利用作业的通信特性对进程进行分类,构建一个次优的初始任务图,根据初始任务图和约束通过模拟退火算法找到局部最优解,采用模拟退火算法实现快速的作业调度策略。实验表明,此种策略较传统任务分配策略时间更短,节能效果更好。