Lustre并行文件关键技术研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:chamcham
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在高速网络环境下,并行文件系统以其高可靠性、高扩展性、高并发性在科学与商业领域得到了较为广泛的应用。Lustre作为典型的并行文件系统采用了基于对象的存储技术,将存储对象与元数据服务器分离,实现了分布式环境下文件的并行访问,极大地提高了文件系统的I/O性能,使得Lustre文件系统在能源、多媒体、科学计算等领域得到了广泛应用。因此,研究Lustre文件系统的关键技术,使其在不同复杂环境下,具有更好的适应性,从而保证或进一步提高并行文件系统的性能显得尤为必要。   论文以开源的Lustre文件系统为研究对象,具体完成了以下研究工作:首先,阅读大量Lustre源码,分析出现有Lustre系统工作机制、采用的文件框架;其次,在阅读源码的基础上,重点分析Lustre分布式锁管理器工作机制,从中得出在客户端进行密集型共享文件访问时,范围锁会在多客户端并发访问时存在性能下降的问题,采用可伸缩范围、时间周期、时间戳结合的改进范围锁机制对其进行改进,通过实验结果表明,采用改进的范围锁机制,可以有效提高Lustre并行I/O性能;再者,在大量客户端密集访问共享文件的应用场景中,现有Lustre对象存储服务端在负载均衡机制上会出现无法有效选择源目的节点对、影响访问服务转移和数据迁移,从而导致文件访问延迟的问题,采用了冷、热点服务器链表机制,以及基于文件访问范围的数据对象迁移策略改进原有对象存储负载均衡策略,实验结果表明,改进后的机制可以有效地提高多用户并发访问密集型共享文件时的Lustre读写性能。   论文研究工作表明,对Lustre文件系统的相关关键技术的研究和改进,可以有效提高Lustre的并行I/O性能。
其他文献
RNA研究是生物信息学领域的重要内容之一。RNA结构决定RNA功能。RNA二级结构比对是结构生物、结构化学和生物信息学中的基础性问题。RNA二级结构比对研究对RNA二级结构预测和
互联网基础设施的快速发展使多种新兴网络业务的实现成为可能,诸如远程桌面、视频聊天等服务都需要建立在高带宽的网络传输之上。然而近年来迅猛发展的P2P(peer-to-peer)应用
随着计算机网络的迅猛发展,网络安全问题成为人们关注的焦点。如何应对大规模的高速数据流检测,如何实现在线学习,如何减少或消除噪声数据的影响,是入侵检测系统面临的主要挑
众所周知,配方调试过程是陶瓷生产的一个重要环节,而影响配方调试的最主要因素则是选择原料问题。由于建筑陶瓷原料种类繁多且又分布广泛,导致同一种原料会有成百上千种原料
目标检测是视觉感知的一个重要任务,其目的是将视觉目标从背景中分离出来,或者分析不同目标之间的空间关系。在该问题中有四个关键因素影响着目标检测的性能:一是搜索方式;二
目前皮革缺陷的检测主要靠工人目测,检测结果受主观因素影响大。随着成像技术、计算机技术、计算机视觉理论及大规模集成硬件的不断发展,使利用这些技术对皮革缺陷进行自动检
遮挡现象在人类的日常生活中随处可见,当视觉目标沿着观测者的观测方向在空间结构上产生交错,必定会导致对观测者观测行为的干扰,比如在模式识别、自动化场景认知、三维重建
网格计算是近年来研究较为热门的一项技术,它能够把整个互联网集成为一台巨大的超级计算机,实现全球范围的计算资源、存储资源、数据资源、信息资源及知识资源等广泛分布的大量
社区结构作为社会网络的一个非常重要性质,可以反映出社会网络成员个体的行为特征以及与其它个体的关系特征,发现社区结构有助于对社会网络内部规律的分析与理解,对社会网络
以神经元为基本信息处理单元的生物神经网络系统,被广泛地用来描述认知、决策和控制等智能行为方面的问题。人们在神经网络的动力系统方面进行了研究:经典的单层单向的Hopfield