基于Luster文件系统的文件分片技术研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:Spring_Song
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的高速发展,业界较多采用了以集群为代表的分布式并行文件系统来实现海量数据的分布存储及并行处理。对象存储文件系统Lustre通过改进的存储体系结构,支持大并发的存储访问,保证了文件系统的高性能、高可用性。但随着文件大小的数量级扩展,在高速集群网络环境下,文件的存储方式势必会影响到文件读写效率,因而研究实现更加高效、合理的分布式数据存储策略、进一步提高Lustre文件系统性能、使其更加适应于高性能计算及商业领域的应用尤为必要。   论文以开源的Lustre文件系统为主要研究对象,具体完成了以下研究工作:首先,通过源码阅读,研究学习了基于对象存储文件系统Lustre的体系结构及其存储机制,着重对其文件分片的放置算法进行了深入分析,根据其并未考虑对象存储设备动态I/O负载的不足,给出了改进的一维文件分片策略及其地址映射流程,从而提高文件读写效率。其次,在改进的一维文件分片策略基础之上,针对有多个客户端同时发起对分布存储的多个不同文件的访问时,会造成多个对象存储节点平均I/O性能降低的问题,给出了一种二维文件分片策略,该策略将综合负载下得到的对象存储节点集合进行分组,使得文件分片存储在一定的组节点中,以带来更好的文件访问性能。最后,论文实现了一个文件分片策略的统一管理接口,可以将多种不同放置策略在系统中以模块的形式加入,且不同的放置策略采用不同的数据存取方式,以方便文件分片策略的应用。   研究工作的实验结果表明,考虑了对象存储I/O负载的一维文件分片策略可以提高文件的并行读写速率;但是在读写请求过多时,二维文件分片策略能获得比一维文件分片策略更好的文件读写速率。
其他文献
随着智能化时代的到来,机器视觉技术,图像处理技术与人工智能飞速发展,极大推动田间智能除草技术不断发展与更新。智能除草装置相比传统的人工除草方式有很多优点,已成为农业
基因芯片可以同时检测一个生物样本的所有转录因子活性。与传统的实验工具不同,基因表达芯片能够使我们对细胞在基因水平上有一个全局的认识。该技术已经被广泛应用到很多领域
近年来,互联网发展迅速,但与之相伴随的是网络安全事件的频繁涌现,互联网络中安全威胁的范围越来越大,DDoS、扫描、蠕虫等大规模攻击已经给人们的正常工作、学习、科研带来严
本文的研究目的是通过对眼动信息的分析来进行前庭功能的检测。眼震数据分析是前庭功能检查的客观依据之一。本文利用的方法是通过对眼动视频图像进行处理,从而获取眼睛瞳孔
随着射频识别(RFID)技术在各个领域应用越来越深入,RFID技术正在引导着行业的发展,影响着人们的生活。各国政府、科研机构和企业都在积极进行RFID技术的研究和开发。RFID阅读器
随着当今信息科学的不断发展和进步,信息交互变得日益频繁,信息安全也就成为了最突出的问题之一。通信安全作为信息安全的重要组成部分,理所当然的受到了广泛的关注和研究。
数据流的出现给传统的数据挖掘技术带来了巨大的挑战。由于数据流连续不断的到来,已有的数据处理技术难以对这些潜在无限的、变化的数据进行有效的管理和挖掘。随着移动终端设
论文设计并实现了NBOS源数据预分析系统,对NBOS源数据进行必要的统计分析和存储处理。统计分析的目的是为NBOS部分配置参数的设置提供依据;存储的目的是为NBOS开发系统和测试
随着3G网络的发展以及芯片性能的不断增强、成本的不断降低,基于3G网络的移动多媒体终端的应用越来越广泛,比如视频会议、视频监控等,终端间的通信变得越来越重要。sip协议简
流量数据是对网络规划、网络管理、网络安全、新网络协议等研究工作的重要基础。随着网络的不断发展,规模不断扩大,网络数据流量急剧增加,高速网络越来越普遍。低速网络环境下使