云环境下基于容器的任务并行处理方法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:yuanxu52051
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,云计算技术已经成为互联网所依赖的基础设施,广泛渗入到交通、金融、医疗、军事等诸多领域,极大地推动了传统领域的发展。但由于传统云计算平台均需利用虚拟机来实现平台的资源隔离,而虚拟机又拥有自己的操作系统,并需要额外的硬件层仿真,所以在执行任务前需要先启动系统,因此对平台的存储和CPU资源造成额外不必要的消耗,从而占用了大量的时间、浪费了系统资源。特别是当传统云计算平台执行的任务并发量大而单个子任务较小时,资源浪费、效率降低的问题将更为明显。这个问题的存在严重限制了云计算技术的进一步发展。容器技术可用于解决此问题,容器实例中可以只包含应用进程及其必需的环境,额外资源开销要比虚拟机小的多,同时容器启动迅速的特点可有效提升平台效率。本文的研究目的是使用容器替换虚拟机执行计算任务,在保留云平台原有功能的前提下,进一步提高云平台的资源利用率与计算效率,主要解决了以下问题:首先,针对接入容器后云平台部分功能无法使用的问题,本文在保留云平台原有功能的基础上,增加了容器管理、容器镜像管理等功能,同时重新设计了资源监控模块,使云平台可对其上运行的容器进行有效监测和管理。其次,针对容器环境中缺少高性能资源调度策略的问题,本文设计并实现了一种云环境中基于容器的任务并行处理方法,此方法可自动使用平台资源允许的最大容器数量执行任务,使平台执行任务时资源利用率达到95%以上,且在执行5000条数据的加密任务时计算效率提升为原有虚拟机调度策略的190%。另外,针对该方法存在的任务池同步问题,即在多节点从任务池中并行取任务时,必然存在同一任务被多次获取的可能,设计出了一种可有效解决此问题的任务池同步机制,提高了本方法的适用性。最后,针对并行计算场景中,执行任务各节点在获取任务时暂停计算,导致任务执行效率降低的问题,本文提出了一种云计算环境中的任务预取方法,使平台中容器在执行任务的同时进行任务获取,提升了平台37%的任务执行速度。此方法也可应用于虚拟机云平台上并发执行任务的场景中。本文使用容器代替虚拟机执行计算任务的方案大幅提高了云平台的性能,降低了云平台的资源损耗,也为云计算技术的进一步发展提供了新思路。
其他文献
目的:应用CT血管成像(CTA)技术探讨急性脑梗死患者颈动脉斑块的影像学特征。方法:选取2016-2019年于我院确诊为急性脑梗死并且同时行颈动脉血管成像(CTA)及颅脑核磁(MRI)的191名患者,查阅患者颅脑MRI影像学资料,确定颈动脉供血区域脑实质内是否有急性梗死灶,根据定位结果将其分为梗死侧及非梗死侧两组;针对颈动脉及其分支进行CTA检查,通过其各项后处理技术观察并分析梗死侧与非梗死侧颈动
法国大革命后,政权更迭频繁,国内政治势力派系林立。在长期政教合一的法国社会,教会一直主持着教育事务,帮助旧制度及统治阶级控制人民思想。在复杂的政治博弈中,学校教育的
我们正处于一个“信息、知识、文化”的三维时代。人类的知识总量越来越大,学生的认知负担越来越重。2017年版《普通高中生物学课程标准》颁布,课程理念的变化将会直接影响到学生的学习方式和教师的教学方式,对生物学教学带来了新的挑战。教学设计是课堂教学的关键环节之一,但在实际教学中,生物学教师的教学设计存在诸多问题,如关注文化视角的教学设计及以生物学学科为背景的教学设计研究很少,注重学生信息加工、符合大脑
女性形象是动画电影的重要组成部分,电影中女性形象的呈现,反映了电影创作者希望传达的文化价值观与时代精神。随着女性主义运动的发展和女性主义思潮在世界范围的蔓延,女性
<正> 目前我国水文地质、水利、农业等科研院校和生产部门修建的测渗仪——Lysimeters,普遍采用以法国物理学家Mariotte命名的马氏瓶作为计量装置,监测日蒸发量和入渗量。由
多元文化教育是当今世界的一个教育思潮,目前人们对于多元文化教育的理解逐步从狭义的理解发展到更广义的理解,本文介绍分析了它的内涵、理论基础,以及在西方产生和发展的背
作者用五种方法(彭曼法,辐射法,布菜尼-克雷多法,哈格雷夫法和蒸发皿法)计算了一种参考腾发量,并对五种方法在不同气候条件下的适用性进行了研究。彭曼法被视作标准方法,其他四种方法
本文是翻译实践报告,翻译内容为日本作家黑古一夫编著的《从广岛、长崎到福岛》的第一部分原文。该书于2011年12月30日首次由日本勉诚出版株式会社发行。全书由三大部分构成,收录了多位研究者的核电文学研究成果。该书尚无中文译本,原稿主要有林京子与黑谷一夫的对谈、满谷玛格丽特、三浦精子、古浦千穗子、伊藤真理子、Philis Yulmarz的研究成果。笔者使用动态对等翻译理论对译文进行分析,力求译文准确传
随着“一路一带”建设的深入,各项工程建设数量迅速增加、规模不断扩大,大型水电、城际铁路、高速公路、石油运输、天然气输送等工程的开发建设,城市发展和其他项目开发日趋
QL—1型水量计,是为解决灌溉渠道计划用水和计量收费的迫切需要而设计的水表式流量仪表。可分段或长期累积计量水量,水头损失小,有较好的抗干扰性能,不但清水中使用好,在有杂