论文部分内容阅读
近年来,海量小文件读访问时延大成为并行网络文件系统(pNFS)的主要问题。其原因有两点:一是元数据访问频率高、耗时开销大;二是IO粒度小、磁盘吞吐量低。针对上述问题,本文以pNFS为基础,研究海量小文件读访问性能优化技术。本文提出一种客户端小文件读访问完全本地化机制,包括扩展只读目录授权、小文件元数据批量预读技术、小文件数据大粒度预读技术。测试结果表明:本文提出的技术能够显著改善pNFS中海量小文件读访问的性能。本文工作和贡献如下: 本文提出并实现扩展只读目录授权。本文在只读目录授权的基础上,将语义进行了扩展,提出“扩展只读目录授权”。它能保证客户端本地缓存的元数据和数据的有效性,其授权范围为目录本身及目录下单层普通数据文件。扩展只读目录授权为小文件元数据批量预读技术和小文件数据大粒度预读技术提供支持。 本文提出并实现小文件元数据批量预读技术。客户端在读目录时,预读目录下所有文件的fh、fattr以及layout等元数据到本地缓存,从而减少了后续读访问过程中频繁的元数据访问,元数据耗时开销降低。测试结果表明:元数据性能最高提升19.59倍。 本文提出并实现小文件数据大粒度预读技术。客户端将物理上同时逻辑上连续的小文件数据批量预读到本地缓存,聚合小粒度IO为大粒度IO,提升了磁盘的效率,后续读访问时命中缓存,读访问时延降低。测试结果表明:小文件间顺序访问时,数据性能最高提升24.36倍;小文件间随机访问时,数据性能最高提升16.75倍。 在小文件的典型应用场景中,本文的工作可大幅降低pNFS中海量小文件读访问的时延,有效解决了“元数据访问频率高、耗时开销大”和“IO粒度小、磁盘吞吐量低”。测试结果表明:小文件间顺序访问时,总体性能提升1.92倍~17.67倍;小文件间随机访问时,总体性能提升3.75倍~17.11倍。