【摘 要】
:
从新兴的互联网行业,到传统的航空航天工业,具有高扩展性与高可靠性的分布式存储技术正在逐步取代传统的集中式存储技术。然而,受限于客户端网络接口带宽,分布式文件系统数据
论文部分内容阅读
从新兴的互联网行业,到传统的航空航天工业,具有高扩展性与高可靠性的分布式存储技术正在逐步取代传统的集中式存储技术。然而,受限于客户端网络接口带宽,分布式文件系统数据下载的吞吐率一般较低,从而限制了分布式存储技术的应用范围,尤其是在数据下载时间窗口较窄的应用中。针对小规模定制型分布式存储系统,提出了一种离线式数据下载方法,以满足极小时间窗口内下载大量数据的需求。其核心思想为:(1)将分布式存储系统中的数据存储设备直接拆卸,并将其连接到部署有客户端的离线节点上,通过定制的客户端功能,从这些挂载到本地的存储设备上直接下载数据;(2)将事先准备好的空的数据存储设备挂载到分布式存储系统中,保证存储系统能够正常工作。从而实现接近零时间窗口的数据下载功能。依据上述思想,设计并实现了一种兼容网络与本地模式的分布式文件系统客户端。其包含两种不同的工作模式。一种是基于FC网络的分布式文件系统客户端。在该模式下,客户端可以通过网络在数据存储节点中存储文件。另一种是基于USB接口的本地式文件操作管理客户端。在该模式下,数据存储节点上的数据存储设备直接挂载在本地客户端,本地客户端可以直接操作管理原分布式系统中的文件。依据设计内容开发了原型系统。实测结果表明,在本地模式下,客户端能够高效正确的完成所有的设计功能。例如,在英特尔i7-3930K处理器,16GB的系统物理内存条件下,在包含十万个待下载文件的测试用例中,部署于4个物理存储节点上的所有文件元数据的读取与组合时间为210ms。离线下载4GB文件的峰值吞吐率为193.93MB/S。
其他文献
上个世纪六十年代,钢管混凝土组合结构因其优良的抗震性能被引入我国。随后通过各界专家近二十年的共同努力与研究,我国的钢管混凝土组合结构进入了高速发展时期。在此期间,
随着5G技术的发展,许多如VR,AR,车联网等对带宽需求高,延迟小的应用纷纷被提出,同时应用终端的普及带来的巨大流量都对传统的LTE/EPC网络结构提出了新的挑战。进一步也给传统
近年来,国内商业银行的国际业务竞争日益激烈。不同于商业银行的资产、负债类业务,国际业务具有经济资本占用低、自偿能力强、综合收益高等特点,有助于改善商业银行的资产负
无线局域网(WLAN)具有数据传输速率快、可移动办公、安装便捷等优点。目前,WLAN已经在人流量大的公共场合以及集中办公点、学校等区域得到了广泛应用。天线作为接入设备的核
近几年,随着地震资料处理、解释技术的快速发展,处理、解释高性能运算的数据量呈海量增长趋势,对大型PC集群处理计算机和解释工作站的运算能力以及存储能力提出了更高的要求,
输电线路掏挖基础是通过机械或人力的方法将土体开挖成基坑,后将钢筋骨架和混凝土在基坑内完成浇筑的基础形式。因其具有土体开方量小、施工方便、减小水土流失、环保等突出
Turbo码和低密度奇偶校验码(LDPC码)都是性能逼近香农限的实用好码。而作为Turbo码和LDPC码共同的子集,不规则重复累积码(IRA码)码既具有Turbo码的低编码复杂度特性,又具有LD
背景与目的食管鳞状细胞癌(esophageal squamous cell carcinoma,ESCC)在中国每年新诊断病例约有25万而且世界上食管癌病死率最高的国家也为中国。我国食管癌总发病率为22.14
机会传感网络是一种不需要源节点和目标节点之间存在完整路径,利用节点移动带来的相遇机会实现通信的自组织网络。若机会传感网络中某个节点失效,造成整网连通性被严重破坏或
银行的业务中,针对小额贷款的项目相对较少,且借款手续复杂,针对这个问题,P2P网络借贷随之而起。P2P网络借贷主要由以下两大优势,一是借款迅速,二是利率高。本文主要针对P2P