云数据中心的数据密集型异构任务调度机制研究

来源 :南京航空航天大学 | 被引量 : 0次 | 上传用户:yx_maomao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在云数据中心中,用户提交的任务往往需要对指定的数据进行分析和处理,因此大规模的数据处理问题变得越来越常见。为了提高这类数据密集型任务的运行效率,我们希望最小化任务的执行时间,因此合适的任务调度机制显得十分重要。同时,传统的只调度单一类型任务的调度策略已经不再能满足用户的需求,需要考虑如何同时调度混合任务。由于任务的执行需要依赖指定的输入数据,因此调度任务的决策是受数据驱动的。本文从数据的存储部署和任务执行时是否可以从本地读取数据这两个角度出发,提出了一种结合数据迁移的异构任务调度机制,通过提高数据读取效率以及数据本地性来降低任务的执行时间,并且可以实现同时调度系统中的批量任务和实时性任务。总的来说本文主要做了如下两部分的工作:(1)针对传统的动态随机存储器在存储数据时具有易失性的缺陷,提出了DRAM和NVM混合的存储架构,利用新型非易失性存储器NVM的存储优点,提高数据存储的安全性。在DRAM和NVM混合存储架构的基础上,对数据做出分类,并分别定义数据标签,提出了一种基于标签化的数据部署策略。本文通过对数据定义数据标签的方式来将数据部署到混合内存中,然后在适当的时机根据数据标签在NVM和内存之间进行数据迁移的操作。这种数据部署方式可以有效提高任务读取数据的效率。(2)根据任务执行时是否可以实现数据本地性,将任务执行的方式分为本地执行和远程执行,由于远程执行需要通过网络传输数据,相比于本地执行,会带来额外的时间开销,因此为了提高任务的执行效率,本文希望尽可能让任务本地执行。然后针对系统中同时存在批量任务和实时性任务的情况,提出了一种异构任务调度机制,在减少任务执行时间的同时保证实时性任务可以得到及时响应。为了进一步提高数据本地性,本文还考虑在调度任务时进行数据迁移的操作。
其他文献
随着经济的不断发展和科学技术的突飞猛进,空调产品的需求量越来越大,对于空调产品的要求也越来越多样化和复杂化,客户对空调产品的性能要求也越来越高。虽然市场不断扩大,产品越来越先进,但是C公司的设备项目管理始终没有改进优化,一直处于停滞状态。为了更好地服务客户,赢得市场,在行业内保持领先状态,对C公司设备项目管理进行优化,提高项目管理质量是现阶段迫切需要解决的问题。本文通过波特五力模型对C公司设备项目
交通运输业是中国改革开放进程中的支柱性产业,而民航业更是实现交通强国的重要战略产业。安全作为任何一个行业都必须直面的主题,在民航空管中也无法回避。截至2018年年底,我国已经拥有了一部民航基本法(《中华人民共和国民用航空法》),二十七部行政法规和行政法规性文件,一百一十五部现行有效规章,这些法律文件组成了中国多层次的民航法规体系框架。但中国民航局和各地方民航局还在不断地增删大量新的法规和管理条例,
2015年3月,政府首次提出“中国制造2025”的宏大计划,希望通过“三步走”实现制造强国的战略目标。在新形势下,实施“中国制造2025”,推动制造业由大变强不仅在一般消费品领域,更要在技术含量高的重大装备等先进制造领域。AD公司作为国内高端装备制造业之一,如何抓住历史机遇,突破自身的困境,提高企业绩效,是一个非常具有研究意义的课题。而提高企业绩效,就要从加强绩效管理入手,构建一套能够促进公司战略
水资源短缺是限制西北干旱和半干旱地区作物产量的主要因素,地表覆盖技术是该区提高作物产量和水分利用效率的有效措施,但是覆盖条件下如何调控肥料施用以增加养分利用效率和
随着中国经济快速发展,很多企业借着中国改革开放的东风,企业规模得到快速的发展壮大。由于企业规模的不断扩大,很多单体公司逐渐发展成集团化企业。然而这些集团用以前管理单体公司的那一套理念和措施管理集团公司的时候,出现了很多问题。一些集团企业在集团管控方面不断的学习和借鉴世界五百强中欧、美、日企业的管控模式,也没有取得预期的效果。集分权的度难以把握,常常在“一统就死、一放就乱”的死循环中周而复始。集团管
安全关键软件广泛应用于航空电子、航天器、武器装备以及轨道交通等领域,这类软件具有高安全、资源受限、实时响应等特点。基于AADL(Architecture Analysis and Design Language)的模型驱动开发方法在安全关键软件领域得到广泛应用。基于AADL模型的代码自动生成是该领域的一个重要研究内容。针对安全关键软件而言,生成的代码往往运行在各种嵌入式平台上,例如实时操作系统、硬
数控机床是现代制造业中重要的生产设备,一旦发生故障可能导致零件报废、生产停滞,造成企业的经济损失。随着物联网、大数据等先进技术的飞速发展,实现机床远程故障诊断已成为可能。本文以数控机床为对象,研究和开发了基于物联网的数控机床远程故障诊断系统。主要内容如下:(1)在分析机床故障远程诊断系统功能目标及性能目标的基础上,设计其功能模块和逻辑结构,描述各模块和各层的工作内容和工作流程,提出基于NB-IoT
电力行业是关系我国国民经济与社会发展的重要基础性行业,电力设备及其招标采购则是电力行业的重要组成部分。我国电力行业自实行招投标交易制度以来,随着相关法规制度的不断完善与电力市场化改革的加速实施,电力行业当前迎来了快速发展的黄金时期。电网公司作为我国电力系统运营管理的主体,当前已全面采用招投标制度来进行电力设备等相关物资的采购交易,提高了项目效益及投资经济性,同时也加剧了电力设备行业间的竞争,一定程
卷积神经网络在计算机视觉领域的许多任务中取得了巨大的成功,如图像分类、目标检测分割、人脸识别、视频分析等。然而,一些研究表明,深度神经网络很容易受到对抗样本的攻击。对抗样本,即在输入数据中通过故意添加细微的干扰所形成的输入样本,导致模型以较大的置信度给出错误的输出。对抗样本的存在对人工智能安全造成了极大的威胁,这些威胁可能导致人工智能所驱动的识别系统发生混乱,形成漏判误判,甚至导致系统崩溃或被劫持
传统的融资模式主要是以现有资产或资金来进行融资,而资产证券化是以基础资产未来的预期收益产生的现金流为偿付支持的融资形式。从宏观角度来看,资产证券化不仅拓宽了金融市场的融资方式,而且能有效的促进产业升级;从微观角度来看,鉴于金融市场固有的风险性,资产证券化对于降低企业的投融资风险是一种行之有效的方法。与此同时,资产证券化使企业的投融资的渠道更为广泛,也能相应的降低投融资成本。基于此,本文结合了资产证