支持智能条带化的并行文件系统管理平台的设计和实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:wzlzcy_yt190057
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术的高速发展,人们对高性能计算的要求越来越高,并行文件系统作为解决系统I/O瓶颈问题性价比最高的方法,一直是这个领域的研究热点。本论文着眼于HCFS集群文件系统的实际应用,根据提高空间利用率和响应性能、提供实时监控和备份容错功能、增加界面友好性和使用便捷性等系统需求,设计并实现了支持智能条带化、可容错的HCFS并行文件系统管理平台,使之能更好地适应于实际的应用环境。 首先,本论文介绍了并行文件系统的产生背景,并调研了当前典型并行文件系统的技术特点和不足之处。然后,概要地说明了HCFS文件系统的体系架构及其软件模型。接着,分别介绍了本论文的工作重点和论文结构。 本论文针对HCFS条带化调度算法(Round-Robin)的不足之处,提出并实现了改进的空间一热度加权的贪心调度算法(智能条带法),引进了热度值的概念,并对经典的热度值作了改进,提出基于空间加权的热度值计算公式。接着,设计了若干实验进行算法的性能测试,对使用三种条带算法(简单轮询法、空间加权法、智能条带法)的系统分别进行相同文件的相同连续拷贝、连续访问操作,然后比较操作后的系统空间使用率及热度分布情况,并分析产生这种结果的原因,最后再比较三种算法对各种主要操作的平均时间开销,实验证明采用智能条带算法能有效改善系统性能。 然后,对HCFS文件系统在应用和布署中存在的各种问题:包括条带分配策略过于机械,不够灵活,容易造成数据堆积、空间浪费和系统处理能力的浪费;缺乏失效报警和备份容错机制,容易造成数据的丢失;安装配置繁琐,缺少可视化的管理监控平台和用户界面等,本论文分别提出了相应的解决方案:引入智能化的条带分配策略,实现空间性能和时间性能的最优化;提供实时的失效警报,自动的数据备份;开发功能强大的管理平台和友好的用户界面。接下来,本论文提出了系统的设计目标,设计完成了管理系统的体系结构和模块结构。 接着,本文对HCFS管理系统的每个模块的具体实现作了详细的介绍。最后,设计了若干实验,对HCFS管理系统进行相应的功能测试。功能测试包括测试创建文件、删除文件、拷贝文件、读取文件、失效备份、图形化显示系统状态、负载均衡等功能。 本课题来源于教育部重大项目ChinaGrid子项目“华南理工大学校园网格建设”。
其他文献
合作是天下最难的事情。可是为什么合作?怎么合作?合作出现波折该如何应对?1000天,温州都市报与金融机构联姻日子里的波折不断,感触颇多。“联姻很不容易!”我喜欢这样来形容
日本艺术家Mariko Mori(万里子),从90年代中期就被称为“新人类”艺术家的典范.她曾先后在东京文化服装学院、伦敦切尔西学院就读,于1993年移居纽约进行独立项目的研究.长期
期刊
随着计算机的普及和计算机网络的使用,计算机越来越多地服务于人们的生产和生活,同时也给信息行业带来很多新的挑战。企业信息网络经常遭受不明攻击、内网机密信息经常被泄漏,面
随着信息技术的发展,数字化已经成为潮流,矿山的数字化建设对于矿山生产和安全有重要意义,从而数字化矿山应运而生。本文的研究主要是为了构建矿山数字信息的远程可视化模型,
传统和服起源于日本平安时代,迄今已逾千年.为东京奥运会和残奥会参赛国定制传统和服的项目“和服计划”将向全世界展现213个国家和地区的和服之美.这个项目由京都和服店“蝶
期刊
发明于1840年的棒球帽,最初是为了避免人们在仰视被击飞到明亮空中的棒球时眼睛为太阳所伤.180年后,美国总统们也会戴棒球帽,但他们戴的理由却和我们普通人不同.深色西服,白
期刊
曾经有个哲人说:音乐是电影最完美的情人.总感觉一个星期前五天过得太慢,好不容易熬到周六,不如看看电影转换下头脑.就让“大哲人”——Son格拉ya——推荐几部电影,顺便聊一
期刊
准分子激光光刻是提高大规模集成电路(VLSI)集成度的核心技术,准分子激光器作为光刻光源要满足量产需要具备高重复频率、高能量稳定性、窄线宽、高波长稳定性以及长气体寿命等
在成年人的世界里,“崩溃”是个高频词.被迫承担责任,反复陷入自我怀疑,内心的秩序每一秒都摇摇欲坠.崩溃过后,我们也曾拼命寻求重启这一切的方式:宿醉、蹦迪、社交娱乐……
期刊
现在人与人打头碰脸,直接摇着手机说,你微信多少,咱俩加一下.这以后,彼此生活轨迹就都交代在屏幕上了.有的人,虽然没什么联系,但碍于面子,总不能把人家删除,最腻味人的是,常
期刊