基于Xen的虚拟机间MPI通信机制的研究与实现

被引量 : 0次 | 上传用户:cnwan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
虚拟化技术能够有效降低系统和应用软件的维护和管理成本,增强系统可靠性以及优化资源配置,基于虚拟化环境构建的大规模集群日趋流行。然而虚拟化技术尚未在性能关键的应用系统中得到广泛应用,特别是高性能计算领域。MPI是当今高性能计算环境中最主流的并行计算模型。在并行计算中,MPI进程需要频繁地通信,而I/O虚拟化所产生的额外开销,会显著地降低虚拟机间MPI进程的通信性能。大量已有工作对改善虚拟机间通信性能或MPI结点内通信性能进行了研究,然而同时结合两者的研究工作并不多。一个通用的虚拟机间通信框架往往没有针对MPI应用做特殊优化,而结点内MPI通信框架则无法在虚拟化环境中使用。本文在同时考虑了虚拟化环境的特点以及MPI应用的通信特征的基础上,通过改进虚拟机间通信模型,对同一台物理机上的不同虚拟机内的MPI进程间的通信性能进行了优化。改进后的模型将通信任务代理给一个隔离的后端通信模块,通信虚拟机内部的开销大幅降低,而进程的通信与计算重叠能力也得到提升。同时,该模型更有利于MPI长消息传输与集合通信的优化,能够有效减少拷贝次数,并均衡系统中虚拟机的通信负载。此外,该模型保留了原生环境下利用硬件加速技术的能力,存在进一步优化通信性能的潜力。在改进模型的基础上,我们进一步给出了基于Xen的虚拟机间MPI通信框架XNEM的设计和实现。XNEM前后端驱动以内核模块的形式运行在隔离的虚拟机中,不需要对操作系统或虚拟机监视器做任何修改。框架提供了简单而灵活的编程接口,能够方便快速地将框架移植到已有的MPI库中。同时,我们为MPICH库编写了XNEM LMT模块,将XNEM通信框架与MPICH库整合。使用MPICH库的MPI进程可以在虚拟环境下将XNEM LMT模块作为高性能的虚拟机间通信通道。我们选取了多个微基准程序和HPC基准程序对XNEM框架进行实验验证。NetPIPE测试结果显示,对于MPI长消息传输,XNEM的通信吞吐率和延迟显著优于Xen虚拟网络以及基于共享缓冲的通信模型。IMB基准测试结果显示12个被测MPI集合操作在XNEM框架下的延迟均好于Xen虚拟网络,其中的10个表现出更好的通信与计算重叠率。我们还对通信时的CPU利用率进行了测量,并分析可能的系统瓶颈。另外,我们调整I/O环大小并重复吞吐率和延迟测试,对XNEM框架的性能进行了调优。最后,我们运行了NPB测试套件中的FT基准程序,验证了XNEM框架在实际应用中的可用性以及对通信性能的提升。
其他文献
互动式课堂教学法是以教师的教与学生的学之间互动为基本特征的一种教学活动形式,能充分活跃课堂气氛,大大提高课堂教学效率,能避免教师"以自我为中心"的教学方式,促使教师和学
本文提出一种基于BM3D算法的医学图像去噪与增强方法研究,为研究信号有关去除噪声和图像增强提供了全新的思路。
<正>美国薄壳山核桃(Carya illinoinensis Koch.)英文名pecan,因果壳薄,故名薄壳山核桃,又因果实长形,又称长山核桃。由于长山核桃果实取仁容易,营养价值高,可食率高,其市场
发展理念是人们在发展实践中形成的关于发展的内涵、本质、目的和要求的理性思考和系统观念,是发展实践的先导,指引着人们进行自然和社会改造的方向。发展是一个不断变化的实践过程,在此过程中形成的发展理念也随着发展条件和环境的变化及人们对发展规律认识的深化而变化发展。自新中国成立以来,中国探索的社会主义建设道路归根结底是一条社会主义发展道路,主题是如何更好地将中国建设成为一个社会主义现代化国家。中国共产党在
螺纹联接是最常用的紧固手段之一,在传递力(或力矩)、保证密封结构密封性等方面具有至关重要的作用。而松动作为主要失效形式之一,虽然并没有在失效的初始阶段便引起重大事故,但是
转台系统中具有不同转动惯量的负载,对系统的动静态性能有着显著影响。在提高系统动态抗扰能力及控制精度,实现最优控制的研究过程中,转动惯量辨识为首要解决问题。本文在对
新时代给高职教育提出了新的历史使命和目标任务。新时代要有新理念和新作为,经济社会的发展规律、高职教育的发展规律、传统思想政治教育理念、体制机制的弊端都要求高职思
目前我国造纸工业正面临原料短缺,能源紧张和污染严重三大主要问题。二次纤维因其节能环保的优势而被广泛关注和研究。其中,回收再加工的废纸已经部分替代一次纤维应用于生产、
近年来,随着高分辨率空间光学遥感器的发展,遥感器口径越来越大。由于长焦距、轻量化、可折叠等特性以及空间在轨环境的特殊性,成像质量受到多种潜在因素的影响,导致图像分辨率降
思想政治教育是随生产力发展,阶级、阶级关系和时代任务变化,以及人们的思想观念转变而发展变化的。进入新时代,尽管我国基本国情不变,但中国共产党及其所代表的人民大众所处