论文部分内容阅读
随着计算机技术的高速发展,人们对高性能计算的要求越来越高,并行文件系统作为解决系统I/O瓶颈问题性价比最高的方法,一直是这个领域的研究热点。本论文着眼于HCFS集群文件系统的实际应用,根据提高空间利用率和响应性能、提供实时监控和备份容错功能、增加界面友好性和使用便捷性等系统需求,设计并实现了支持智能条带化、可容错的HCFS并行文件系统管理平台,使之能更好地适应于实际的应用环境。
首先,本论文介绍了并行文件系统的产生背景,并调研了当前典型并行文件系统的技术特点和不足之处。然后,概要地说明了HCFS文件系统的体系架构及其软件模型。接着,分别介绍了本论文的工作重点和论文结构。
本论文针对HCFS条带化调度算法(Round-Robin)的不足之处,提出并实现了改进的空间一热度加权的贪心调度算法(智能条带法),引进了热度值的概念,并对经典的热度值作了改进,提出基于空间加权的热度值计算公式。接着,设计了若干实验进行算法的性能测试,对使用三种条带算法(简单轮询法、空间加权法、智能条带法)的系统分别进行相同文件的相同连续拷贝、连续访问操作,然后比较操作后的系统空间使用率及热度分布情况,并分析产生这种结果的原因,最后再比较三种算法对各种主要操作的平均时间开销,实验证明采用智能条带算法能有效改善系统性能。
然后,对HCFS文件系统在应用和布署中存在的各种问题:包括条带分配策略过于机械,不够灵活,容易造成数据堆积、空间浪费和系统处理能力的浪费;缺乏失效报警和备份容错机制,容易造成数据的丢失;安装配置繁琐,缺少可视化的管理监控平台和用户界面等,本论文分别提出了相应的解决方案:引入智能化的条带分配策略,实现空间性能和时间性能的最优化;提供实时的失效警报,自动的数据备份;开发功能强大的管理平台和友好的用户界面。接下来,本论文提出了系统的设计目标,设计完成了管理系统的体系结构和模块结构。
接着,本文对HCFS管理系统的每个模块的具体实现作了详细的介绍。最后,设计了若干实验,对HCFS管理系统进行相应的功能测试。功能测试包括测试创建文件、删除文件、拷贝文件、读取文件、失效备份、图形化显示系统状态、负载均衡等功能。
本课题来源于教育部重大项目ChinaGrid子项目“华南理工大学校园网格建设”。