集群计算环境全局通讯优化的研究与实现

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:xincuntianxia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着高速网络技术和高性能微处理器技术的发展,集群计算从局域网扩展到园区网甚至广域网,它正成为一种极具吸引力和挑战性的分布式并行计算平台。集群计算要达到实用化,首先需要解决的关键技术是提高通讯性能,包括点对点通讯和全局通讯的性能。本文主要研究如何在不改变硬件的前提下提高全局通讯性能。全局通讯的性能受计算机结点性能、网络性能、网络拓扑结构、全局通讯路径等因素影响,其中优化全局通讯路径是提高全局通讯性能的一个重要手段,尤其是对消息传递库的设计者而言。在集群环境中,计算机结点和网络存在着异构性,主要表现为计算机结点性能和网络性能各有差异、网络拓扑结构也不规则。这种异构性增加了全局通讯路径有效优化的难度。如果在优化全局通讯路径时不加以充分考虑,忽略了某些因素,往往会导致优化的效果不佳,甚至在某些情况下出现相反的效果,反而降低全局通讯的性能。而常见的消息传递库大多存在着这个问题。针对此问题,我们提出了全局通讯的多粒度优化解决方案,它包括LobP通讯模型、HLC(Hierachical Label Cluster)拓扑结构模型、多粒度优化MGO算法(Multi-Granularity Optimization)、全局通讯模拟器CCSim以及多粒度优化的MPICH-MGO实现。本文从理论研究和工程实现两方面系统地描述了我们所做的上述工作。 通讯模型描述了通讯的基本过程,它是全局通讯优化的基础。本文首先对通讯模型进行分析,指出已有通讯模型在完备性、描述的层次一致性等方面的不足,提出了LobP通讯模型。 拓扑结构模型描述了网络的拓扑结构,它是全局通讯优化的重要依据。在分析两层结构及简单多层结构的基础上,根据分布式集群环境物理拓扑结构的特点以及全局通讯优化的需求,本文提出了适合于分布式集群全局通讯优化的HLC拓扑结构模型,并描述了实现该模型的算法。 基于LobP通讯模型和HLC拓扑结构模型,本文提出了全局通讯的多粒度优化算法,简称MGO算法。MGO算法经过优化分别生成广播、分布、聚合、全聚合等全局通讯操作的通讯路径。在优化时MGO算法利用LobP通讯模型和HLC拓扑结构模型,充分考虑了集群中计算机结点性能、网络性能以及网络拓扑结构,适用于分布式集群环境。 我们实现了多粒度优化的全局通讯库MPICH-MGO。MPICH-MGO基于MPICH,是对MPICH原有全局通讯层的修改和扩充,使得它能够通过分布式测试获得集群的计算机结点性能、网络性能以及网络拓扑结构等信息,利用这些信息进行全局通讯路径的多粒度优化,并根据优化结果对涉及全局通讯的消息进行路由。 我们还实现了针对集群环境全局通讯的模拟器CCSim。模拟器CCSim可以生成不同配置的集群,调用不同的全局通讯优化算法来优化生成相应的全局通讯路径,并利用全局通讯路径模拟全局通讯过程的执行。利用该模拟器可以比较不同优化算法在不同集群配置下的优化效果,它已成为我们研究集群环境下全局通讯优化的一个重要分析工具。 模拟结果表明MGO算法优化效果显著。MGO算法与相关的BT、FEF、FCEF、LA算法相比,在广播、分布、聚合、全聚合等全局通讯操作的性能上,均有不同程 国防科学技术大学研究生院学位论文度的提高,并且性能提高百分比基本上随着集群中计算机结点数目的增加而加大。
其他文献
通过对国内外文献的研究分析,着重介绍了VAR值的三种估算方法——历史模拟法、分析法和蒙特卡罗模拟法。通过比较,可以看出各种方法在不同方面各有优劣。找不到最优的估算方法,
医用化学在医专教育中的地位、作用及改革郑浙梁(杭州医学高等专科学校310012)三年制的医学专科教育是我国高等医学教育中一个独立层次,其任务是培养掌握一定医药科学理论知识和技能、
在这互联网金融发展如火如荼的时期,许多学者都在研究这一速生事物的现状。本文以文献计量法为研究方法,以中国知网数据库为研究材料来源,对其中的资料进行整理分析,从海量的文献中筛选与互联网金融相关度较高的文献,先对其总体研究状况和发展脉络进行阐述,再分别就其发表的机构、发文作者、地域分布、文献关键词、学科类别等分别进行统计分析,以期能发现目前国内互联网金融研究的特点和前沿。  互联网金融 CNKI 文献
期刊
大量实践证明,企业经营失败的根源在于其战略缺乏可执行的基础。企业要做到基业长青,就必须拥有全新的执行理念,通过实施目标管理,充分授权和分权,创建有效的执行文化,加强人才培训
目的:观察加减木香导滞丸治疗小儿急性肠系膜淋巴结炎湿热蕴脾证的临床疗效。方法:将60例患儿随机分为2组各30例。治疗组给予口服中药汤剂加减木香导滞丸,对照组给予口服头孢
对EPON ONU的功能进行了简介,并根据802.3ah标准,提出了一种利用FPGA来实现的EPON用户终端的设计方案。 The function of EPON ONU is introduced briefly. According to 80
期刊
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
在信息化的浪潮下,跨境电子商务越来越成为我国国际贸易不可或缺的一部分,它即改变了传统的贸易模式,也改变了传统的消费模式。文章以跨境电商的领军者小红书为研究对象,将用
本文研究了二阶多智能体系统的组一致性问题和一类混合阶多智能体系统的一致性问题。对于组一致性,分别针对二阶连续时间和离散时间多智能体系统,研究实现组一致性的算法,代