海量文件分布式存取技术研究

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:zjz_hi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云时代的到来,大数据吸引了越来越多的关注,每天互联网上新产生的数据以数以亿计的速度激增。这种数量级的数据量已经远远超出了一台计算机的处理能力,如何存储和管理这些数据成为人们关注的焦点。基于此,分布式文件系统被提出并得到广泛的应用。而分布式文件系统中所涉及到的各种分布式存取技术也成为人们研究的热点。本文首先广泛调研了分布式文件系统的发展和现状,并基于MooseFS (MFS)分布式文件系统对海量文件的分布式存取技术进行了详细的研究和介绍。其次,本文针对MFS使用一台元数据服务器存储整个文件系统的元数据从而限制整个文件系统的存储容量和存取效率的问题,提出了一种基于静态哈希的元数据扩展管理方法。该方法将一台元数据服务器扩展为元数据服务器集群,同时有效解决了静态哈希方法目录重命名时数据迁移量较大和权限认证网络时延较长的问题。再次,本文针对MFS系统缺乏小文件缓存机制从而降低了小文件重复读取的读取速率的问题,提出了MFS数据缓存优化机制。该缓存机制将最近访问的文件保存在MFS客户端的内存缓存区,当客户端需要读取同一文件时,便直接从内存中读取数据。.实验结果表明,改进后的机制大大提高了小文件的重复读取速率。‘最后,本文针对MFS系统对大文件的读取缺乏预取机制导致读取速率变慢的缺点,提出了MFS数据预取机制。当文件大小超过1MB,并且客户端以连续读取操作触发预取机制时,系统将数据提前传送至客户端内存。实验结果表明,当对大文件进行读取操作时,改进后的机制不仅缩短了系统读取文件的操作完成时间和响应时间,还提高了系统的吞吐量。
其他文献
第一部分以Candidasp.尿酸酶为模型考察用积分法测定米氏常数(Michaelis-Mentenconstant,Km)及黄嘌呤对其抑制常数(inhibitionconstant,Ki)所需条件。用293nm吸收变化记录尿酸酶
目的:研究endocan(humanendocellular-specificmolecule-1,ESM-1)在正常人结直肠组织中的表达规律及其定位,分析endocan在结直肠正常粘膜与在结直肠癌中表达的差异;及其与临床参