基于并行网络文件系统的海量小文件读优化研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:wangqiang1818
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,海量小文件读访问时延大成为并行网络文件系统(pNFS)的主要问题。其原因有两点:一是元数据访问频率高、耗时开销大;二是IO粒度小、磁盘吞吐量低。针对上述问题,本文以pNFS为基础,研究海量小文件读访问性能优化技术。本文提出一种客户端小文件读访问完全本地化机制,包括扩展只读目录授权、小文件元数据批量预读技术、小文件数据大粒度预读技术。测试结果表明:本文提出的技术能够显著改善pNFS中海量小文件读访问的性能。本文工作和贡献如下:  本文提出并实现扩展只读目录授权。本文在只读目录授权的基础上,将语义进行了扩展,提出“扩展只读目录授权”。它能保证客户端本地缓存的元数据和数据的有效性,其授权范围为目录本身及目录下单层普通数据文件。扩展只读目录授权为小文件元数据批量预读技术和小文件数据大粒度预读技术提供支持。  本文提出并实现小文件元数据批量预读技术。客户端在读目录时,预读目录下所有文件的fh、fattr以及layout等元数据到本地缓存,从而减少了后续读访问过程中频繁的元数据访问,元数据耗时开销降低。测试结果表明:元数据性能最高提升19.59倍。  本文提出并实现小文件数据大粒度预读技术。客户端将物理上同时逻辑上连续的小文件数据批量预读到本地缓存,聚合小粒度IO为大粒度IO,提升了磁盘的效率,后续读访问时命中缓存,读访问时延降低。测试结果表明:小文件间顺序访问时,数据性能最高提升24.36倍;小文件间随机访问时,数据性能最高提升16.75倍。  在小文件的典型应用场景中,本文的工作可大幅降低pNFS中海量小文件读访问的时延,有效解决了“元数据访问频率高、耗时开销大”和“IO粒度小、磁盘吞吐量低”。测试结果表明:小文件间顺序访问时,总体性能提升1.92倍~17.67倍;小文件间随机访问时,总体性能提升3.75倍~17.11倍。
其他文献
多年以来,人们一直为有效解决计算中的难解问题而苦苦求索。目前的经典计算机面对许多问题显得渺小而无助,因此人们寻找新的计算模型和新的高效计算机的努力显得恢弘而伟大。
无线信号调制方式识别是非合作通信中一个非常重要的课题,广泛应用于频谱管理、电子战等非合作接收以及认知无线电、自适应通信等非合作通信场景。目前应用最广泛的调制识别方
自从计算机用于辅助设计和制造以来,曲面编辑就一直是人们研究的热点问题。特别是近二十年来,随着计算机软硬件技术的飞速发展,计算机图形学、虚拟现实、虚拟仿真、可视化、人机
近年来,随着全球经济和信息技术的不断发展,安全问题日益突出,越来越多的领域需要可靠的身份识别。生物特征识别技术为此提供了一种解决方案,而指纹识别技术是其中的最佳选择之一
学位
近几年,随着网络、通信以及传感技术的发展,数据流受到普遍关注;常见的数据流包括Web访问日志数据流、股票价格信息数据流以及网络信息数据流。随着数据流越来越受关注,研究人员
在计算机体系结构研究中,对内存系统的研究是非常重要的一部分,而访存trace的采集分析一直是必不可少的一环。HMTT就是一套基于硬件监听方式对访存行为进行监控分析的工具,相比
多核处理器的发展使得并行编程越来越流行。但是并行程序执行行为的不确定性,使得它们中存在错误难以测试和调试,这给程序员的工作带来巨大的困难和挑战。而且,隐藏在并行程序中
随着网络环境的日益完善和人们对分布式系统要求的逐步提高,作为分布式人工智能重要的研究领域,多Agent系统(Multi-Agent System)逐渐成为当前的研究热点。而多Agent系统协商
动物性食品中药物残留是近年来食品安全问题中最突出的问题之一,是困扰世界范围的难题。尽管国家加大了监管力度,但禽兽水产品致使中毒现象屡次发生,缺乏灵敏、准确、稳定、经济
二氧化碳浓度升高已导致全球气温明显上升,并带来其它一系列的环境变化,已引起了人类的高度重视。以区域甚至全球为中心的碳循环观测网络迅速发展起来,积累了大量的观测数据。采