纠删码存储模式下MapReduce作业性能优化的研究

来源 :杨振宇 | 被引量 : 0次 | 上传用户:jyk1987525
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着数据的爆发式增长,越来越多的分布式存储系统开始集成纠删码机制,以便在保证高可靠性的基础上进一步降低系统的冗余存储开销。但由于纠删码机制的引入,数据在存储系统中的组织方式发生了改变。以Hadoop系统中实现的条带式纠删码策略为例,在进行条带编码时,原始数据相较于多副本方式被拆分为更细粒度的单元,分散在条带所在的全部节点,当上层MapReduce作业中的任务对原始数据中的一段连续内容进行访问时,纠删码模式下任务需要从多个节点获取数据。当Hadoop系统部署在异构集群环境以及集群各节点负载差异较大时,这种“一对多”的数据访问模式将可能会由于部分节点的数据传输不及时造成任务执行效率的降低,从而增加整个MapReduce作业的完成用时。此外,集群的异构环境和节点运行时负载差异本身也会造成MapReduce作业内部各任务的运行效率差异。因此,为了提升纠删码存储模式对上层MapReduce应用的服务性能,扩展纠删码的应用场景,本文提出了一种基于异构集群的MapReduce作业优化策略,其核心思想是通过修改存储侧的数据放置策略和计算侧的任务分配、作业调度模式,降低异构环境对纠删码存储模式下数据访问性能的消极影响,同时避免静态的任务分配模式放大节点负载差异,从而提升作业执行效率,工作内容主要可以概括为如下三个方面:(1)纠删码存储下作业友好的数据放置不同于Hadoop默认的数据块随机放置策略,本文提出一种基于节点硬件信息和长期后台负载的分组放置策略,我们称之为异构感知的数据放置策略(Heterogeneous-aware Data Placement Algorithm,HDPA),通过对集群各节点的数据访问性能进行分析,将访问性能接近的节点分为一组,当数据以纠删码模式写入系统时,HDPA使同一条带的数据块尽可能放在性能接近的一组节点,避免对条带进行访问时出现掉队节点,提升MapReduce作业对纠删码数据的访问速度。(2)异构环境下负载均衡的任务分配针对Hadoop系统默认的随机任务分配方式造成的节点计算负载偏斜问题,本文基于一般的异构集群环境提出一种动态的任务分配策略(Dynamic Task Allo-cation Algorithm,DTAA),通过在计算节点引入性能分析模块,动态地调节每一个节点上可用于MapReduce作业的计算单元数量,从而实现对集群整体任务并发量的控制,避免由于部分节点负载过高产生严重的长尾任务,影响MapReduce作业性能。(3)多作业并发场景下负载均衡的作业调度Hadoop现有的几类作业调度模式均未考虑到对底层数据访问负载的均衡,静态的资源划分配置也不能很好地适应集群异构环境和变化的负载。本文提出一种负载动态均衡的公平作业调度策略(Dynamic Balanced Fair Scheduling Algo-rithm,DB-Fair),通过在调度器中统计各作业对应数据集在HDPA分组放置策略下的存储信息,以及各节点在DTAA任务分配策略下的可用计算单元的限制情况,动态决定当前各作业可在集群中运行的任务数量和任务优先级,从而保证当数据以多种纠删码模式在系统中存储时,作业在集群中的任务分配对存储节点的访问热度,以及对各计算节点的硬件占用都达到相对均衡的状态,以加快多作业并发场景下的作业执行效率。通过在真实异构集群中部署我们提出的方案,实验结果表明,在不同类型的MapReduce作业中,我们的方案能够提升10%-40%的作业执行效率。在多作业并发场景下,我们的方案能够将全部作业的完成时间缩短约17%。
其他文献
生业是人地关系学说的重要研究内容,是从多元的角度来分析人类社会生业形态形成与地理环境关系的科学性课题。人地关系的多元性决定了生业的区域差异性,以区域历史地理的理论和方法研究新石器时代生业,是科学、合理、有效的途径。黄河流域是新石器时代文化的起源地之一,是中国农业发展的起源地之一,是世界粟黍农业的中心地和起源地之一。新石器时代又是人类生业由采集渔猎向农业定居生产转变的变革时代。因此,黄河流域新石器时
学位
近年来,我国民航持续高速发展,民航旅客运输量和货物周转量不断增加,对我国民航公共安全管理提出更高要求。现阶段,我国民航公共安全管理能力与发展预期不匹配,陆续出现了一些威胁公共安全的典型案例,如何做好民航公共安全管理工作已成为现阶段民航发展亟待解决的问题。本文对国航CA1350航班钢笔劫机事件、国航CA106副驾驶吸烟事件、桂林航空GT1011航班网红进入驾驶舱事件、四川航空3U8633航班风挡玻璃
学位
目的探究急性高原缺氧伴随氰化钠中毒对小鼠脑血流的影响及脑血流变化在急性脑损伤中病理作用机制,为急性高原疾病和或氰化钠中毒的治疗提供病理理论依据和实验基础。方法利用密闭缺氧罐,低压氧舱构建常压,低压缺氧(海拔6 km)小鼠模型,缺氧时间为0 min,30 min,60 min,1440 min(低压);复合氰化钠(3.8 mg/kg,ip.)构建相应急性中毒缺氧小鼠模型,观察各组小鼠行为活动,脑血流
学位
随着中国国际地位的提升以及中国对全球的影响,汉语国际教育事业也不断发展,中国的文化影响力不断深入。对外汉语教材也比较成熟,在教学实践中,学习者对于中国语言及文化的学习有更高的追求,希望可以达到更好的学习效果。毋庸置疑,教育者及受教育者都希望取得好结果。练习对学习效果有很重要的影响,练习是课堂教学以及学生自主学习的过程中不可缺少的一部分,也是学生巩固课堂知识和自我检测的重要途径,同时也是教师检测学生
学位
本文是一篇英汉翻译实践报告,翻译材料选自哈佛大学人类生物进化学教授Daniel E.Lieberman所著Exercised:Why Something We Never Evolved to Do Is Healthy and Rewarding(《被动锻炼:为何我们未能演化主动去做健康有益之事?》)的第三章和第四章。本书普及了人体健康知识,对跑步、久坐、睡眠等人体活动进行了详细阐述,从进化学角
学位
在煤矿开采的过程中,煤层硫化氢(H2S)气体异常涌出等引起的事故经常发生,严重影响煤矿生产安全。硫酸盐生物反应(BSR)作为煤矿硫化氢气体异常富集的因素之一,其中硫酸盐还原菌(SRB)通过降解煤中有机物产生硫化氢气体是主要原因。在硫酸盐生物反应的过程中,不同价态和不同种类的金属离子对硫酸盐生物还原作用产生的影响不同,分为促进和抑制两种。本文在硫酸盐还原菌对煤厌氧降解的基础上,探究金属离子在不同反应
学位
社区矫正是国家公共管理体系的一项重要内容,是非监禁刑罚执行的重要方式,是管理社区矫正对象的重要举措,在帮助犯罪情节轻微、社会危害程度不大、符合特殊条件的违法犯罪人员顺利融入社会、达到良好矫正效果中发挥重要作用。让社区矫正对象在相对自由的环境中接受矫正管理,为他们提供一个相对宽松的环境,降低他们的心理负担,避免与社会关系脱节。非监禁的执行方式使对社区矫正对象与家庭保持良好的联系,有利于家庭成员参与社
学位
中职财会类专业实践教学是专业发展、学生培养、产业进步的重要组成部分,财会类专业实践教学是学生实际工作中提高业务技能水平和熟知法律法规常识的过程,是学生遵循职业道德、理解书本知识、获得职业能力、掌握专业技巧、具备专业能力的实践活动。财会类专业实践教学主要包括基础能力的培养、校内模拟企业培养和顶岗实习三个环节。在实践教学中主要包括实践教学的目标、实践教学的课程安排、实践基地的建设、实践教学的师资状况、
学位
妊娠早期,随着滋养层细胞的入侵,子宫内膜在雌激素和孕激素的作用下转化为蜕膜组织,支持胚胎着床和胎盘生长,进而形成母体和胎儿相互作用的母胎界面。免疫细胞约占母胎界面蜕膜组织细胞的40%,其中自然杀伤细胞(natural killer cells,NKs)大量存在,占免疫细胞的比例高达70%。这些蜕膜NK细胞(decidual NK cells,dNKs)具有独特的表型与功能特征,如呈现CD56bri
学位
当前国际国内形势的变化及竞争的加剧,对高素质技能人才的需求更胜,而高等职业教育以职业性和专业化为其主要特征,与生产一线关系紧密,是提升我国劳动力素质的重要教育类型。本文基于对S职业技术学院的分析,探讨在高等职业教育发展中的政府职能发挥情况,研究成果将为政府职能促进高等职业教育发展的相关理论研究进行有益补充,并有利于政府职能在高职教育发展过程中的实际运用,推动高等职业教育持续发展。本文以S职业技术学
学位