协议可扩展、插件化蓝鲸客户端设计及其小文件性能优化

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:qq6563187
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络存储系统的广泛应用,应用对其I/O性能也提出了越来越高的要求。蓝鲸集群文件系统(BWFS)采用带外数据传输的方法,分离元数据流和数据流,客户端直接访问存储设备,为应用提供高带宽、低延迟的共享文件服务。随着BWFS的广泛应用,一些问题也暴露出来。首先BWFS应用平台日益多样化对其客户端软件(ENFS)的可移植性提出了更高的要求;其次BWFS带外数据传输方法优化了大文件应用性能,但是小文件传输延迟比较高,而实际应用又往往混合着大文件和小文件访问。因此如何优化小文件应用也是BWFS必须考虑的问题。本文基于可移植软件分层设计的思想,对ENFS进行了分层设计。该设计中,存储协议层以插件方式存在,以灵活地扩展存储协议。在ENFS可扩展存储协议设计的基础上,提出用带内模式传输小文件数据以优化小文件访问性能。本研究主要内容如下:   ⑴对ENFS进行分层设计,复用NFS缓存层,将ENFS与具体操作系统相关部分抽取成适配层,将存储协议层抽取成插件以灵活地扩展存储协议。这种设计方法使得移植工作主要集中在适配层,减少了移植工作量,降低了移植难度。   ⑵按照可移植软件的设计方法实现了ENFS及其插件,目前已经能够稳定运行。Dbench测试表明ENFS的性能在多数情况下较原有客户端有所提升,最高时提升了60%。   ⑶研究表明,带内模式能有效降低小文件数据传输延迟。基于ENFS可扩展存储协议的设计,文中提出设置文件大小阈值分流大文件和小文件,用带内模式传输小文件数据,以优化小文件性能。文中通过分析和大量的测试选取了32KB作为文件大小阈值的经验值。测试结果表明,32KB文件阈值混合数据传输模式提升小文件密集型应用性能最高达62%。
其他文献
随着以Ajax为重要特征的Web2.0技术体系的迅速发展,许多网站从传统的Web应用向富互联网应用(RIA)转型,并从中获得了丰厚的收益。这又反过来促进了Web2.0的发展,形成了Web开发的
模拟是计算机体系结构研究的重要手段,也是很多其它科学与工程学科日益采用的研究方法。模拟并行化则是主要的加速方法。计算机系统的并行模拟,通常具有细粒度任务并行的特性,以
P2P对等通信业务,如即时通信、文件共享和多媒体分发等应用广泛流行,然而,因IP地址短缺、网络接入设备增多、互联互通需求增强等原因,基于NAT技术的多级私网接入Internet结构越来
随着半导体工艺进入深亚微米时代,芯片的复杂度越来越高,给IC设计者带来极大的挑战。本文介绍了曙光5000A高效能计算机互连网络的交换芯片——D5K-Switch ASIC芯片的物理设计和
图像匹配是指把一个图像区域从另一个可能在不同时间,不同视点位置或者由不同传感器所获得的图像区域中确定出来或找到它们之间对应关系的一种重要的图像分析与处理技术。  
当今时代,随着网络化和信息化的迅猛发展,云计算模式应用而生,其采用按需付费的方式为云用户提供轻便、可用的服务,并使云用户从繁重的资源维护中解脱出来。但是随着云计算应
网络安全随着互联网的兴起而产生,并随着互联网的发展而不断发展进步。在早期,人们通过对IP包的头部进行分析,发现网络流中的异常数据包,从而对IP包进行相应的处理。如今,随着网络
图像和视频中的文字包含丰富的语义信息,在很多应用中占有重要的位置,如自动标注,基于内容的图片或视频检索与分析等。由于图像和视频中的文字通常叠加在复杂的图像背景之上,现有
学位
无线传感器网络技术作为一个极具应用前景的技术,已经成为当前研究的热点。传感器节点是无线传感器网络最基本的构成元素,而运行在传感器节点的操作系统,能够有效地管理和使用有
随着面向服务计算技术的发展,互联网上Web服务的数量越来越多。面对数量众多的服务资源,如何有效地组织和管理这些服务成为了一个亟需解决的问题。分类是人们组织和管理大规模