基于MPI的多层容错高性能云计算平台关键技术研究

来源 :武汉理工大学 | 被引量 : 2次 | 上传用户:mryangjinhui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着全球信息化浪潮的推进和计算机应用技术的不断迭代更新,各行业需要处理的信息量越来越大,尤其实在航空航天、海洋开发、天气预报等诸多领域,数据规模已经达到TB甚至PB级,而如何存储并处理这种规模的数据显得至关重要,为了解决这一问题,引入云计算平台这一概念。一方面,对于云计算平台而言有两个特点,一个是能分布式存储大数据,另一个特点是将视任务执行失败为正常情况;但另外一方面,许多云平台不适用于低延迟服务,并且在面对计算密集型任务时候显得效率不高,而MPI擅长计算密集型,并且通信迅速,消息传递延迟少,因而用MPI实现一个云平台则显得十分有意义。在本研究当中将主要研究如何构建并实现能够支持大数据存储存并拥有多层容错功能的MPI云平台。针对上述问题,本文提出并实现出一个基于MPI的云平台,为了让此平台能够支持大数据存储,因而实现了一个由MySQL构建的分布式集群,并且多个MySQL节点存储不一样的数据,在此之上增加一个数据库中间件层,以便能将这些数据库节点联立在一起。而用户在使用的时候,并不需要考虑此存储架构,使用起来就和单个MySQL的效果是类似的。另外一方面,考虑到MPI自身没有提供响应的容错机制,因而本研究者设计出3层容错机制,分别是:任务失败重调度、任务的CheckPoint/Restart以及进程迁徙,并且将此容错机制独立分离出接口,以便平台开发者可以依据自身需求来定制其具体需求,也便于对此功能进行二次开发,而对于用户而言,则可以依据其实际需求来设定容错级别。经过测试和评估,证明基于MySQL的分布式集群之上运行的数据库中间件能够处理用户的SQL请求,实现数据的查找以及基本的增删改功能,并且本平台可以很好地应对节点服务失效问题并能最终给用户反馈正确的结果。原型系统的可行性、可靠性、健壮性、高效性均达到设计预期。
其他文献
快速的经济发展、不断升级换代的计算机软硬件以及不断提高的网络速度,互联网已经渗透到人们生活的各个领域之中,再加上物联网技术的火热,各种基于网络互连智能化的应用逐步融入
自动人脸识别技术由于其广阔的应用前景,目前已成为生物识别领域热点研究课题之一。经过近50年的发展,二维人脸识别技术已日趋成熟,但也易受姿态变化等影响。三维人脸识别的提出
并行多处理器系统的容错计算一直是研究者关注的问题,识别故障处理器节点的过程称为系统故障诊断。系统的故障诊断,主要分为两种方式,一种是电路级诊断,一种是系统级诊断。在电路
中文句法分析是自然语言处理领域中的一个重要课题。针对汉语本身的特点,本文将介词用法融入到句法分析结果中,使用介词用法属性对Stanford Parser进行后处理。首先,为了得到
下料是工业生产中不可缺少的重要部分,也是一直以来企业试图节省成本的关键环节之一。目前,在经典的、一般的下料问题研究较为成熟的情况下,实际生产中常常出现的各种特殊下
在当今知识经济时代,知识已成为社会发展的重要资源,如何有效的管理知识就成为当代一个重要的研究方向。截至目前,我国已有近百个规模不同的中医药数据库完成建设并投入使用,
中文信息处理的研究一般分为三个阶段:字的处理,词的处理以及句和篇章的处理。现今我国已经在字的处理,以及词的处理方面取得了很多的研究成果,并得到了很好的实用。例如汉语
我国是一个海洋大国,海产养殖业的发展在我国农业生产乃至经济发展中均占有重要的地位。扇贝精选分级是扇贝养殖收购过程中的一个重要环节,有效、可靠的精选分级一定程度上决
SSD(Single Shot MultiBox Detector)是一种比较流行的目标检测方法。目前,目标检测的方法颇多,使用卷积神经网络的目标检测占据主导地位,但是卷积神经网络在结构上存在固有
Internet的迅猛发展始于20世纪90年代,随着NSFnet的建设和开发,网络节点数和用户数迅速增加。Internet也迅速向全球发展,世界上许多国家纷纷接入到Internet上,使网络上的通信量急