论文部分内容阅读
为了支持海量数据的存储需求,随着存储系统容量的提升,元数据作为描述数据特性和存储位置的结构化信息,其存储需求也急剧增加。分布式存储系统的设计趋势是明确划分出元数据服务器与数据服务器两种角色,对元数据与数据分别进行存储,并使用多台元数据服务器组成元数据服务器集合。
本文研究目标是通过分析分布式存储元数据架构需要满足的关键特性,为分布式异构元数据存储系统设计一个基于虚拟节点的负载均衡元数据存储协议,该协议由三个部分组成,即:(1)按权重分配虚拟节点映射子协议,用于实现元数据在异构服务器集合中,按服务器存储容量均衡放置。在元数据服务器个数发生变化时,可以保证发生迁移的元数据数量达到最小;(2)虚拟节点重定向子协议,当系统中元数据存在局部性的访问热点时,不同的元数据服务器上的请求负载轻重不同。该协议将重载服务器上的元数据有针对性的迁移到轻载服务器上,实现元数据服务器的请求负载均衡;(3)虚拟节点交叉复制子协议,用于应对系统发生节点失效的情况,描述了元数据副本创建、副本迁移和失效恢复各个过程,保证系统可以在节点失效状态下进行元数据的恢复,保证系统的高可靠性。该负载均衡元数据存储协议,在系统正常工作时保证存储和请求负载均衡,并允许系统服务器数量动态变化,在系统发生异常时,进行元数据恢复,保证系统对外无间断提供服务。
论文进一步通过理论分析,证明了按权重分配虚拟节点映射子协议能够保证存储负载均衡,并且最小化元数据迁移的数量。
论文运用负载均衡元数据存储协议,设计并实现了分布式存储元数据的文件存储系统。对该系统进行功能和性能测试,分析了测试结果以及关键参数对性能的影响。