分布式文件系统客户端元数据缓存一致性的实现及优化

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:dickui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着海量数据的产生,对数据的存储和访问性能要求越来越高。在分布式文件系统中,元数据访问是数据访问的必经之路,并且在所有访问中,元数据的访问占了50%以上,因此提升元数据访问的性能尤为重要。可以通过实现客户端本地缓存技术提高元数据访问性能,然而,确保多客户端元数据缓存一致性是关键技术之一。由于一致性功能的实现必然会带来一定开销,导致性能降低,因此需要权衡一致性功能和性能,使用合适的优化技术,保证文件系统缓存一致性功能的正确性以及一定的性能。基于Zookeeper服务器的一致性协调服务实现了授权锁以保证元数据缓存一致性,并针对一致性功能带来的性能降低的问题,从以下三个方面对系统进行优化:分析Zookeeper服务器请求处理过程,明确上锁操作过程的性能瓶颈在于Zookeeper的磁盘IO操作,提出采用SSD来存储Zookeeper上的数据,上锁性能提高90%;针对Lustre文件系统的子树锁方案,提出一种目录范围锁的优化方案,批量获得目录下所有子文件的元数据缓存权,以减少网络通信开销,测试结果显示元数据OPS和并发访问性能均高于未优化的系统及Lustre系统;最后,为了支持多元数据服务器集群,实现了唯一ID进一步提高元数据访问性能,结果表明在相同客户端规模下,多个元数据服务器对比单个元数据服务器,元数据的OPS均有所提高。
其他文献
近年来,随着图片分享网站的兴起和应用,互联网中的图片数量呈指数增长。由于智能手机的普及,越来越多的人习惯于随手分享自己的图片。然而人们往往对同一景点或事物进行连续
当前信息技术飞速发展,软件产品开始应用到了社会的各行各业中,软件质量问题成为人们关心的焦点问题。软件测试是保证软件质量最重要和最有效的方法,然而软件规模的扩大给软件测
在当今的信息社会中,数据存储安全随着信息的重要性日益提高而显得越来越重要。如何确保数据安全方便地进行保存一直是人们研究的热点。而随着P2P技术的日益发展,P2P技术与生
近年来,点对点技术(Peer-to-Peer,简称P2P)成为人们研究的热点之一。P2P是一种分布式网络,网络的参与者共享他们所拥有的一部分硬件资源(处理能力、存储能力、网络连接能力、打
当前,C2C电子商务发展潜力巨大,但在实际电子商务应用中,信用危机问题却日益突出,特别是在线信任相当匮乏,严重制约了C2C电子商务的发展。此外,由于电子商务的虚拟性,交易双
如今Internet应用如火如荼,IP宽带业务高速发展,网络流量不断的扩张,骨干网络中采用了流量工程技术来均衡负载,最大化的利用资源,减少拥塞的发生,以确保应用业务的IP QoS需求。MPLS
工作流是针对工作中具有固定程序的常规活动而提出的一个概念。通过将工作活动分解成定义良好的任务、角色、规则和过程来完成执行和监控,达到提高生产组织水平和工作效率的
图像编码是多媒体信息处理的核心技术。图像编码的目的是通过消除图像中象素间冗余、统计冗余和视觉冗余,以较少的比特数达到图像高视觉质量压缩的目的。压缩比和视觉质量是衡
随着网络的发展及企业规模的不断扩大,企业内部网的信息管理也越来越复杂,存储在系统上的敏感信息需要不同级别的保护,工作流技术的普遍应用也加大了对数据安全控制的复杂性。企
随着嵌入式技术的不断发展,各种嵌入式实时操作系统相继出现,给各个嵌入式应用产品开发商提供了多种选择,但是基于很多嵌入式操作系统建立系统平台软件的方便性和稳定性都不