面向多核的系统级MPI通信优化关键技术研究

被引量 : 0次 | 上传用户:wxhush
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
消息传递接口(Message Passing Interface,简称MPI)自20世纪90年代以来一直是高性能计算(High Performance Computing,简称HPC)领域并行程序开发的事实标准。在基于MPI编写的并行程序中,MPI通信性能通常对程序整体性能起着关键作用,优化MPI通信具有重要意义。近年来,在多核技术高速发展的背景下,MPI通信亟待针对多核系统特点进行优化。然而,现有优化工作主要停留在基于进程MPI的通信技术,普遍存在处理开销大、访存需求高等不足,限制了通信性能进一步提高。本文针对多核系统诸多特点和现有优化方法不足,从基于线程MPI的通信技术方向入手,系统研究了多核系统MPI通信优化的关键技术,探索了共享内存系统上更高效的消息传递通信接口。取得的主要成果如下:1、面向多核系统,提出了一种高效线程MPI支撑软件技术——MPI通信加速器(MPI Communication Accelerator,简称MPIActor)。MPIActor通过自身专门设计的接口聚合技术在传统进程MPI支撑环境的基础上建立线程MPI支撑环境。相比传统MPI支撑软件的开发方法,采用MPIActor技术构建线程MPI支撑软件的开发工作量小,且MPIActor应用更灵活,能横向支持符合MPI-2标准的传统进程MPI支撑软件。实验采用双路Nehalem-EP处理器系统上的OSU_LATENCY基准程序进行测试,结果表明传输8K至2M字节长度消息时,加入MPIActor的MVAPICH2 1.4在处理器内通信性能提升了37%以上,最高可达114%;处理器间通信性能提升30%以上,最高可达144%;而对加入MPIActor的Open MPI 1.5测试结果也表明,处理器内通信性能能提升48%以上,最高可达106%,处理器间则能提高46%以上,最高可达98%。2、针对多核系统上的集合通信优化,基于MPIActor提出了一套新的分级集合通信算法框架(MPIActor Hierachical Collective Algorithm Framework,简称MAHCAF)和一组高效的基于线程MPI的节点内集合通信算法。MAHCAF采用模板方法设计分级集合通信算法,将节点内和节点间集合通信过程作为模板的可扩展步骤,并将它们通过流水化并行方法组织,能够充分发挥子集合通信过程间的并发性。基于线程MPI设计的节点内集合通信算法能够充分利用共享内存系统的优势实现通信过程,相比传统基于进程MPI的集合通信算法处理代价小,访存需求低。Nehalem集群系统上的IMB实验表明:与MVPAICH2 1.6相比,采用节点内集合通信通用算法的MAHCAF能够对广播、多对多广播、归约和全归约在绝大多数条件下带来显著的性能提升;不仅如此,将专门针对Nehalem体系结构设计的多级分段归约算法(HSRA)加入MAHCAF后,归约和全归约通信的性能还能够被进一步提高。3、针对非平衡进程到达影响广播通信性能的问题,基于MPIActor的特有结构提出了一种竞争式流水化优化(Competitive and Pipelined,简称CP)方法以提高非平衡进程到达模式下的广播通信性能。该方法利用多核/多处理器系统节点内运行多个进程的优势,将节点内最早到达的进程作为执行节点间通信的引导进程,能在最早时间启动节点间集合通信过程,减少广播通信平均等待时间。微性能测试实验表明,采用CP方法优化的广播性能显著优于传统算法,而两个实际应用实例的性能测试也表明CP方法能够显著改善广播性能。4、面向多核/多处理器系统上的节点内MPI通信优化,在MPIActor基础上提出了一套高效的共享内存消息传递接口(Shared-Memory Message Passing Interface,简称SMPI)。相比传统MPI,该接口能支持运行在同一节点上的MPI进程通过传递消息地址直接读取进程间发送的消息数据,而不是复制消息数据到当前进程,因此极大减少了访存开销。实验表明,在8个节点上用64个MPI进程进行4000阶矩阵乘,利用该接口设计的cannon矩阵乘算法较利用MPI设计的算法加速比达到了约1.14。
其他文献
风险分担是建设项目需要解决的核心问题之一,它直接影响着项目风险管理绩效。合理的风险分担比例或合理的分配风险将缩短项目周期、减少项目成本、降低项目的风险程度。PPP项
采用角色改变技术、教学反馈技术和现场指导技术等方法做为干预手段,探讨干预条件下小学教师教学监控能力的提高与学生学科能力发展之间的关系。整个研究选取19名小学五年级教师
<正>情况介绍国网浙江(嘉善)共产党员服务队成立于2009年,下设八个服务小分队,涵盖行政、营销、线路、变电等多个专业,党员服务队现有队员192人,其中党员154人,是一支有着优
观察自拟醒神饮加减治疗急性缺血性卒中意识障碍的临床疗效。方法:选择102例急性缺血性卒中意识障碍患者,随机分为治疗组51例和对照组51例。对照组给予纳洛酮静脉滴注,治疗组在
王力先生主编的《古代汉语》(修订本)常用词(十)“加”字条下,为“加”归纳出四个义项: (一)把一物放在另一物的上面。左传昭公八年:“加絰于颡而逃。”《庄子·马蹄》:“夫
[目的]总结老年强直性脊柱炎(AS)病人行全髋关节置换术后股骨假体周围骨折的护理。[方法]对5例老年AS病人全髋关节置换术股骨假体周围骨折病人术前着重心理护理、营养支持、
利用Excel VBA可以设计制作功能强大、性能优良的应用程序窗体,能够满足用户不同类型的应用需求,也能够使应用程序的操作更为简单、界面更加美观清晰和友好。
[目的]观察早期心理宣教及鼻饲治疗对脑卒中病人吞咽功能恢复的影响。[方法]将88例脑卒中病人随机分为对照组与观察组各44例,对照组病人予以常规内科护理,观察组病人在常规内
在经济全球化的背景下,国际化是绝大多数企业的一个必然选择。从西方发达国家企业国际化的经验来看,企业在国际化进程中一直都存在着内部化和外部化两种倾向,对外直接投资和服务
作者搜集了大量志书资料,首先对历代在洛阳建都和洛阳的建制沿革作了概述,对现存府、县志进行简要介绍,最后对这些府、县志做了简评,这对当前方志的编纂工作有着重要作用.