并行文件系统数据访问的负载平衡

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:omlieo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们对高性能计算的需求越来越大,并行处理作为高性能计算的一种重要手段,也越来越得到重视。然而,在很多应用中,并行处理的能力受到削弱,其原因之一是因为负载不均衡,引起在某些部件上存在瓶颈,制约整个系统的吞吐量。为此,负载平衡对维护系统的性能具有重要作用。为了有效地在并行文件系统中实现数据访问的负载平衡,本文以PVFS(Parallel Virtual File System)为例采用数据迁移与副本相结合的机制。该机制在PVFS中增加一些模块,在各个IOD(I/O节点)上统计得到负载信息,MGR(管理节点)每隔一段时间向所有的IOD发请求,要求把负载信息传递上来。检测哪些磁盘的热度比较高,找出这个磁盘上的热点。为提高迁移的收益,选择迁移的热点应该是那些使迁移收益/代价最高的数据文件,将这些热点迁移到热度比较低的磁盘上去,使负载趋于平衡。系统实现的模块主要有:负载平衡的元数据管理,负载信息的统计,负载信息的收集,负载平衡的计算,负载的迁移。通过对PVFS做负载平衡,性能有一定的提高。但是有些数据的热度很大,迁移到哪儿都会引起这个磁盘的热度上升很多,引起新的负载不平衡的现象产生,这时,迁移机制就失效了。为解决这一问题,当这样的高热点出现时可以采用副本的方法。选择当前经过统计为最冷的磁盘做副本。当读热点文件时,由于热点文件已经做了几个副本,随机选择一个副本进行读操作。副本必须维护一致性,使副本文件能并发读,串行写。
其他文献
电子商务改变了企业与客户的沟通方式,从而使传统的企业商务模式发生了深刻的改变.近年来,随着信息技术的飞速发展,移动通讯与互联网融合发展的趋势日趋明显,作为电子商务领
Petri网是描述和分析并行与分布系统的有力工具,为扩展Petri网的建模与分析能力,使之能够处理时间相关的问题,人们将时间约束引入Petri网模型中,形成带时间约束的Petri网.Mer
近几年来,由于移动终端设备的蓬勃发展,各式各样的硬件设备,软件平台都被开发出来.但是程序员如果想要写出能够跨越这么多平台的应用来,不是一件容易的事.因此,本身具有跨平
工业界,尤其是棉纺织行业,对计算机图像识别及检测处理技术有着十分迫切的需要。目前,棉纺织行业中原棉异纤检测环节急需一种代替人工的自动异纤在线检测系统的出现。随着微电子
校园网的监测和管理成为现在高校的一项重要课题。蓬勃发展的校园网,使现在高校师生的学习、生活和工作变得越来越离不开网络。但网络的极度膨胀,使网络的运行效率、安全问题日
本课题主要研究的是基于角色的访问控制技术如何在网络安全中得到实现。传统的网络安全技术手段,不能实现网络区域的有效隔离和用户访问的有效控制。采用基于角色的网络访问控
音视频传输是网络多媒体的一个重要内容,涉及到多媒体和网络通信方面的内容,同时必须满足一定的服务质量。为此,研究音视频传输必须考察适合通信的多媒体技术和合适的通信技
随着互联网的快速发展,数据量爆炸性的增加,人们对搜索的精准性和智能化的需求日益增长,知识图谱的兴起拉开了智能信息检索从字符串匹配跃迁至智能理解的序幕,可以实现深度挖
随着互联网的发展,XML格式逐渐成为数据展现和传输的事实标准。XML上信息获取技术研究也越发重要。自XML语言诞生以来,各种各样的XML结构化查询语言被开发出来,如XPath、XQue
论文总体上分为三个部分展开:第一部分作者首先就当前社会对于仓储管理所提出的新要求进行了描述,对传统的仓储管理系统的局限型作出了分析。在此基础上,通过与传统的事务数据库