一个分布式文件系统元数据服务器设计与实现

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:paokahh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息化程度的不断提高,全球数据日益膨胀。面对当前PB级的海量数据存储需求,传统的存储系统在容量和性能的扩展上存在瓶颈。分布式存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。据统计,海量存储系统中50%以上的文件系统操作是元数据操作。现在已有的分布式存储系统在带有命名空间的海量小文件读多写少的存储场景性能非常差,其中重要原因在于元数据服务器的性能和扩展性是一个严重的瓶颈。本文针对云存储系统设计了一种高性能、高并发、高扩展性的元数据服务器,以此来改善海量小文件读多写少场景的服务性能;同时元数据服务器的集群化设计让系统的可扩展性大大增强。我们设计了一种新的动态负载均衡策略来减少负载抖动和提高负载均衡的精确度。此外,我们提出了通道的概念,通道是一个将CPU和独立的磁盘进行绑定,从软件层次侧到硬件层次都独立的数据存储管道,可以大大消除随机I/O并且充分利用了当今服务器多核多盘的机器性能。从而加速存储服务。最后,我们提出了一种新的key-value存储引擎,通过批刷和提高I/O有效率从而大大提升单机的存储能力。多通道的key-value存储模块为我们的元数据服务器提供了非常高性能的底层存储方案。而在实现方面,我们在当前线程池和网络异步驱动的基础上针对海量云存储的应用场景做了进一步的性能优化,可以发挥出机器的极限性能。最后,本文通过一系列的性能测试表明我们的元数据服务器可以有效应用于海量小文件存储场景,并且相对于当前其他分布式文件系统的元数据服务系统有着数倍的性能提升。
其他文献
近年来,网络用户数目急剧增加,个人计算机性能不断提高,信息的共享和传播需求呈指数增长,这些因素促使P2P网络技术获得了长足的发展。网络流量一直是P2P网络技术中比较关键的
为了寻求新的收益来源,传统的运营商将目光转向潜力巨大的增值业务市场,增值业务市场进一步细化,竞争加剧。如何将增值业务资源整合起来形成一种新的共赢的商业模式成了运营
随着软件产业的迅速发展,软件维护成为软件产业面临的重要课题,理解并修改软件是软件维护的核心。程序代码的规模和复杂性使得程序理解成为软件维护中代价最高的部分,软件文
IP电话自从90年代诞生以来经历了高速的发展,对原有的电信语音业务和电信网络发展都带来了巨大的冲击,同时也起到了巨大的促进作用。可以说IP电话的产生和发展见证了电信网从
医院业务流程繁多,中间会产生海量的数据,如何处理、保存和利用这些数据,更好的为医疗事业和患者服务,提高自身的管理质量和经济效益,是摆在每所医院面前亟待解决的问题。过
作为类UNIX操作系统,Linux操作系统除了保持UNIX稳定、高效等优势之外,系统自身的功能更是不断发展、日益成熟。相对于其他操作系统而言,Linux可以按照需要修改源代码,并且具有支
制动系统是汽车设备中至关重要的运行设备,其运行状态直接关系到人员的安全,因此,在制动系统运行状态检测的基础上展开故障诊断就显得尤为必要。但是,由于制动系统中存在很多
随着通信技术和互联网技术的发展,政府机构和企业积聚了大量的业务数据,在这些不同类型的业务数据中,有一类很有特点的数据集合—交往数据集,比如通信记录、邮件收发记录、Web链
随着云计算在企业中的广泛使用,拥有HDFS分布式文件系统和分布式计算模型MapReduce的Hadoop成为了众多IT企业的首选。在大型企业中,Hadoop分布式集群通常由成百上千个节点组
学位