基于P2P-云平台的作业管理机制的研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:sunchine0415
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算的概念自提出以来,即在全世界范围内得到了广泛应用。云计算凭借其高度并行性、虚拟化等特点大幅简化了程序员的工作,提高了作业执行速率。MapReduce作为云计算中的核心编程模型,为程序员自动完成了容错、死锁等至今仍无通用解决方案的问题。如今,越来越多的企业都已经将自己的业务部署到了云计算平台中。然而,传统云计算平台中的MapReduce编程模型是基于集中式的C/S框架,模型中由一个控制节点管理多个工作节点,且用户提交的作业全部都由唯一的控制节点进行分配管理,控制节点一旦失效,就会造成无法挽回的后果。不但如此,单一控制节点负载有限,随着集群规模的不断增大,其势必会成为整个系统的瓶颈,严重限制了集群的扩展。因此,为了解决传统云计算平台中单控制节点失效和集群扩展性不足两大问题,本文提出了基于P2P-云平台的作业管理机制。该机制首先对传统云计算平台中基于单控制节点的主从结构进行改进,提出基于Chord协议的多控制节点协同控制多工作节点的体系结构ChordMR。其次,针对控制节点失效所带来的作业丢失问题,提出作业动态管理机制,该机制从作业分配、作业备份、作业恢复以及控制节点加入时的作业迁移等各方面对云作业进行有效管理,以加快云作业执行速率、提高云作业执行成功率。通过仿真实验,验证了该作业管理机制在可行性和有效性等方面的优势。最后,本文编程实现了基于P2P-云平台的MapReduce作业处理框架。理论分析和实验结果表明,传统云平台与P2P技术的有效结合不但解决了传统云平台中存在的单点失效问题,而且增强了集群的扩展性,有效解决了系统的瓶颈问题。
其他文献
小波框架理论是信号处理的一种有效工具,目前已经广泛应用于小波分析、信号分析、图像处理数值计算等理论和应用领域。本文阐述了小波分析与框架的一些基本理论,并且在已有的
为了实现以订单为中心的买卖双方交易的自动化,解决传统企业在商业运作中与供应商、代理商、分销商之间的沟通与数据交换问题,为客户提供在线销售管理平台和周到的全套网络信息
目前,软交换已经被公认为下一代网络(NGN)的核心技术,它的发展受到越来越多的关注。作为下一代网络的控制功能模块,软交换为下一代网络具有实时性要求的业务提供呼叫控制和连接控
进程代数作为描述和分析并发与分布式系统的重要工具之一是并发理论的主流研究方向。互模拟是进程代数中刻画行为等价的核心概念,而模态逻辑特征是它的一个重要性质。随着进
面对当今激烈的市场竞争,信息对企业的生存和发展起着至关重要的作用。数据仓库技术能有效地解决企业中普遍存在的“数据过剩、信息不足”问题,使企业有效组织和管理数据,从而分
分布式全文检索技术是信息处理领域的核心技术之一,目前被广泛应用于竞争情报、信息检索、搜索引擎以及信息过滤等领域。对高效分布式全文索引技术的深入探讨不仅拥有重要的理
随着身份欺诈行为事件的不断发生和对自动身份识别应用的强烈需求,基于生物特征的身份验证尤其是基于指纹的鉴定已引起了社会的广泛关注。指纹具有唯一性和稳定性,因此被人们用
该文给出了基于校园网的模拟在线考试系统的系统结构,并在分析C/S模式存在不足的基础上,研究了B/S模式的网络结构、特点、各发展阶段技术,特别是着重研究了构造B/S模式信息系统
XML Web服务技术是eBusiness On Demand系统的首选技术。使用这些技术架构起来的系统具有模块化、松耦合、可扩展、语言平台无关、整合度高等特点。而这些特点正是当前电子商
随着各种网络应用和企业信息化系统的普及并持续增长,数据集中和应用集成迫切需要可管理、易伸缩、高性价比的数据共享解决方案。集群系统正是满足这样要求的一个具备强大处理