论文部分内容阅读
软件即服务、云计算、互联网应用、科学计算等现代大型应用平台,对文件存储系统提出了更大容量、更高性能、更高可靠性及多租户隔离等要求,高效可信的海量文件存储将成为构建上述大型应用的关键技术。针对SaaS应用多租户、数据隔离和服务质量保证的问题,论文提出一种面向多租户的海量存储系统架构,通过元数据服务器和存储服务器两种节点组成集群,分离客户端对文件系统命空间和数据流读写的操作名。元数据服务器通过虚拟存储控制器对多租户的请求进行安全验证,同时设置了高速缓存,提升元数据的并发访问性能,缓存的延迟加载策略减少了服务器故障恢复时间。存储服务器采用对象的方式维护数据块,使用区段的形式分配空间,使数据块在磁盘上分布更加连续,提升了大文件访问的效率。为了保证SaaS应用数据的高可用性,论文提出一种基于负载均衡的动态副本管理策略,将文件副本所在服务器节点进行分簇,在簇内设置处理能力强和稳定在线的超节点来维护副本的增加和删除,监控服务器节点的负载信息。这种局域集中、广域对等的组织方式,加快了文件副本的定位速度,能够有效的管理大规模的文件副本。通过对文件的历史访问记录进行分析,预测下一周期文件访问频率,为流行文件设置合理的副本数,根据负载情况有效分散客户端的请求,实现了分布式系统的负载均衡。采用负载迁移算法,使各节点的负载和存储空间达到均衡,以形成合理的数据分布。为对SaaS的多租户进行性能隔离和服务等级区分,论文提出基于服务等级归类的多级服务队列调度方法,采用了队列的方法管理不同租户的请求。通过将大的请求进行分割,充分利用了存储和网络资源的并行性,并对QoS保证提供便利。对多租户的请求按照服务等级归类后,使系统可以优先处理服务等级高的租户的请求,在服务器资源充足的情况下,能够满足各个级别的租户的QoS需求。结合国家重大科研项目,研制了面向SaaS应用的多租户海量存储系统原型JTangFS,该系统实现了论文所述的基本功能,并在基于SaaS的网络硬盘、浙江电信商务领航等应用中得到初步验证,能较好地支撑大型SaaS应用平台的需求。