并行网络文件系统中负载均衡机制的研究与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:qiongxiaobao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
负载均衡技术是并行文件系统中常见且不可或缺的重要优化手段。在并行文件系统中实现副本技术,利用负载分析方法和调度算法,可以有效地将系统中各种负载均衡地分配到各存储节点上,以提高文件系统的可用性、稳定性和服务质量。在并行文件系统中,随着节点的增加、删除,文件的创建、删除和修改,以及访问次数的爆炸性增长,各个存储节点的负载以不可预知的方式动态变化,常常发生部分服务器资源损耗过度而另外一些服务器使用率低下的情况,即负载倾斜。同时,节点的突发故障极易导致系统无法正常运行。虽然使用副本机制有助于解决上述问题,但在不同场景下,还需要针对场景中的I/O行为特征,以副本为基础,围绕负载均衡技术进行研究,找出适用的策略和时机。本文针对一种典型的并行文件系统pNFS(Parallel Network File System),设计并实现了基于概率分布的动态负载均衡机制PDDB(Probability Distribution Dynamic Balance)。在并行网络文件系统中,PDDB通过对文件创建副本,按照容量均衡的方式进行文件副本的合理放置,同时设计了镜像和交错的两种副本放置模式。PDDB在各数据服务器上构建了自适应的负载监控系统,由元数据服务器收集各个节点的CPU、内存、存储空间、网络带宽、磁盘带宽等负载信息,经过对负载信息的整合处理,并结合已经获得的历史数据信息,以综合负载的大小决定任务分配的概率,将访问均衡地分配到当前负载较低的一组服务器上,并通过热点迁移调度各个节点之间的负载状态,避免群聚效应。并加入副本元数据的管理以及副本一致性的维护,保证当任一副本的存储节点发生故障时,可以通过其他副本正常获取文件内容,确保系统的正常运行。在测试中发现,与使用随机算法和最小负载优先算法的负载均衡机制相比较,PDDB机制使得各存储节点之间的最大负载差距比二者分别减少了42%和30%,且在文件系统总负载相同时,各个节点的负载变化也相对平缓,平均负载至少降低10%以上。文件系统的平均网络吞吐率提升20%,可靠性、稳定性和可扩展性均得到改善。
其他文献
随着业务流程管理的发展,业务流程建模成为业务流程管理研究领域的一个重要方面。业务流程建模是指通过图形、公式、表格或文字来描述业务流程的特性,将实际的业务流程转化为
云计算是一种新兴的计算模型,也是目前国内外商业和科研机构研究的热点之一。虚拟化技术是云计算中的一个重要特点。在云计算环境下,虚拟技术将网络中的服务器、存储和网络等虚
融合了无线局域网和Ad hoc网络优势的无线Mesh网络,作为一种解决无线接入“最后一公里”问题的关键技术受到了越来越广泛的关注。由于无线Mesh网络中的带宽资源和信道资源是无
分子动力学模拟是一种微观领域的模拟方法,在物理、化学、生物及材料等领域应用广泛。由于分子动力学模拟的计算量非常庞大,计算非常耗时,并行计算是解决该问题的必经之路。然而
近年来,随着WEB3.0的飞速发展,社交媒体也迅速发展起来,各大社交平台竞相怒放,用户量迅猛增长。截至2016年11月,Facebook注册用户数超过14亿,Twitter月活跃用户数已达到3.1亿
近年来,由于基于视觉的手势识别技术能够使人以更自然的方法与机器进行交互,越来越受到人们的重视。基于计算机视觉的手势输入技术的特点是对用户的限制少,但是需要处理的数据量
车载自组网(VANET, Vehicular Ad-hoc networks)技术自2003年ITU-T的汽车通信标准化会议上由各国专家提出以来,受到广泛重视并得到迅猛发展。隐私性是车载自组网的基本安全需
倒排索引是目前应用最为广泛的全文索引技术,是现代搜索引擎的核心技术。现在互联网上文本数据呈现爆炸式增长,为这些文本数据构造的倒排索引也需要越来越多的存储空间,压缩
随着软件开发的发展,系统结构的日益庞大,漏洞修复和新功能的扩充将贯穿于整个软件生命周期,软件升级作为软件维护的重要支撑起到了不可或缺的作用。现在越来越多的软件具备了自
近年来,随着计算机相关技术及图形图像技术的广泛应用,医学图像的质量和显示方式得到了极大的改善,从而借助于图像处理与分析技术使得诊疗水平大大提高。医学图像的三维可视化是