【摘 要】
：
近几年来,业界广泛使用Hadoop MapReduce、Spark等分布式并行计算框架进行大数据处理,这些框架大部分都遵从BSP模型,shuffle阶段在大数据处理中无法避免。随着处理的数据量爆炸性的增长,企业考量成本与容错性倾向于将shuffle阶段的中间数据储存于磁盘中,而不是内存中。因此,分布式计算任务的shuffle阶段中不仅有着密集的网络I/O,还有着密集的磁盘I/O。这两种密集的I/O
论文部分内容阅读
近几年来,业界广泛使用Hadoop MapReduce、Spark等分布式并行计算框架进行大数据处理,这些框架大部分都遵从BSP模型,shuffle阶段在大数据处理中无法避免。随着处理的数据量爆炸性的增长,企业考量成本与容错性倾向于将shuffle阶段的中间数据储存于磁盘中,而不是内存中。因此,分布式计算任务的shuffle阶段中不仅有着密集的网络I/O,还有着密集的磁盘I/O。这两种密集的I/O极大的影响着shuffle阶段的性能,最终导致shuffle阶段成为制约分布式并行计算任务性能的一大原因。除此之外,学术界与工业界皆鼓励将计算任务切分成大量子任务分散在集群中执行,以提高计算的并行性,并减少落后任务（straggler）对性能的影响。然而,我们研究发现随着子任务数的增加,磁盘以及网络I/O请求数量将以平方级增长。这更加加剧了shuffle阶段的性能开销,从而影响计算任务性能。本文通过研究,发现随着数据量的增大,shuffle阶段逐渐成为分布式并行计算中最大的性能瓶颈。而shuffle阶段的性能开销,是由于不可避免的密集的网络I/O以及磁盘I/O。我们设计了框架资源量化（FRQ）模型用于评价分布式并行计算框架的性能。在不同的硬件环境、资源调度策略下,FRQ模型可以预测分布式并行计算任务的计算时间,并评价资源调度策略的性能。为了优化上述shuffle阶段性能,本文设计并实现了 OPS—一个基于Spark的开源分布式shuffle数据管理系统,接管并优化Spark的shuffle阶段。针对shuffle阶段的优化,本文研究做出了以下几点贡献:1.OPS实现了独立的shuffle服务,更高效并合理的调度了 I/O资源与CPU资源,减轻了 shuffle阶段中数据传输带来的开销。2.OPS使用了对计算任务的中间数据进行以节点为单位的提前合并（pre-merge）以及提前传输（pre-shuffle）的优化策略,有效的分散了 shuffle阶段的密集I/O,并且减少了磁盘I/O,优化了 Spark的shuffle阶段性能。3.OPS使用了基于slot的分区数据提前调度,预测并计算出re-duce 子任务的最佳调度结果。4.OPS使用了基于节点粒度的分区页污染重试容错机制,确保在最小开销下满足计算的正确性。本文设计并实现了 OPS系统,为Spark提供了独立的shuffle服务。我们在AWS EC2中使用100个t3.xlarge节点组成集群,用以评价OPS的优化效果。在shuffle传输量大的应用中,OPS可以帮助Spark减少了三分之二的shuffle总执行时间,并对reduce阶段带来50%的性能优化。在使用了 OPS的shuffle服务后,Spark在HiBench的各个测试应用中平均可以获得30%的性能提升。
其他文献
传统的时频分析方法是处理非平稳信号的有力工具,它可以同时描述信号的时域和频域特征,由于Heisenberg测不准原理影响,短时傅里叶变换和小波变换的时频表示能量聚集性较差,又因交叉项干扰,使Wigner-Ville分布难以处理多分量信号,为此本文主要研究基于短时傅里叶变换的一类时频后处理方法,即同步变换方法。同步变换通过估计信号的瞬时频率或群延迟信息,将短时傅里叶变换的时频系数进行同步压缩或同步提
静态随机存取存储器（static random access memory,SRAM）作为高速缓存（cache）,是芯片上不可或缺的组件。随着芯片技术的不断发展,SRAM的容量不断增加,其占据的片上面积不断增多。另一方面,随着半导体器件的特征尺寸不断减小,工艺扰动导致SRAM的良率下降,严重降低芯片的可靠性。因此提高SRAM的密度和良率对降低芯片的面积和提高芯片的可靠性至关重要。近年来,碳纳米场效
世界上有数百万的聋哑人,他们不能像常人一样通过语言进行沟通,而是通过手语进行沟通交流,这给生活带来了诸多不便。因此,开发一套可以让常人理解他们的手语实时识别系统是非常有意义且有价值的。在本文中,我们研究了一套中国手语实时识别系统,该系统可以识别聋哑人的中国手语,并实时地通过文字与语音的形式将识别结果输出给用户。首先,我们创建一个中国手语数据集。依照国家通用手语常用词汇表,使用RGB摄像头采集了日常
目前,精益生产是最热门的生产方法之一,许多飞机制造商在其生产系统中都采用了精益原理。与此同时,互联网技术也在航空业中广泛应用。本文提出了将精益和物联网这两种方法集成以用于提高航空企业的竞争力。在将此概念应用于企业实际生产前,有必要对过程进行模拟并分析结果。本文将使用离散事件仿真来验证这些技术的效果。由于ARENA软件非常适合此研究,因此本文应用其实现建模。最后,本文得出的结论是,应该以集成的方式使
随着智能物联网时代的到来,大量基于目标跟踪或定位的服务日益增多,尤其在一些特定的室内场景下,例如监狱看守、养老院老人监护、自动化仓库设备等封闭的室内环境,众多服务需求都依赖于精确的目标跟踪与定位。现有室内定位方案即使定位精度已经可以达到不错的分米级,但是在一些复杂场景中,其精度仍然不高。而近几年来,视觉目标跟踪发展迅速,图像跟踪精度高达像素级别,但可靠性较差。本文的研究工作即同时结合了视觉目标跟踪
在企业的日常经营过程中,运用全面预算管理能够有效地改善企业内部控制管理,扩大企业的经济效益。因此,作为一种科学完整的管理体系,全面预算管理在企业实践中已经得到广泛的认可。但是,由于全面预算管理在我国企业的实践时间还比较短,目前仍然存在比较多的困境,亟须加以完善。本文介绍了企业实施全面预算管理的现实意义,分析了全面预算管理在实践过程中面临的主要问题,并据此提出具有针对性的对策建议,以期促进企业战略目
随着制造业向数字化、智能化的转型升级,企业间的竞争日趋激烈。在这样的背景下,在产品生产的早期阶段进行快速准确的报价是必不可少的。在制造业转型升级的过程中,CAD模型已经成为了贯穿整个生产周期的信息载体,这些蕴含了丰富信息的CAD模型成为了可以利用的珍贵资源。针对这一背景,本文设计了一种以零件的中性格式（.stp）B-rep模型文件作为输入的报价系统,并利用python OCC作为几何内核完成了系统
随着时代的发展、大数据的普及,人类所掌握的数据量也日益增长,而数据结构作为计算机存储、组织数据的方式,也随着新时代的发展不断推陈出新,其中双向映射数据结构作为一类重要的数据结构,被广泛用于一类双向映射数据集的存储、检索应用场景,如数据重映射优化、DNS（Domain Name System）等应用场景。资源描述框架（RDF）作为新时代的数据模型,通常用于描述Web资源的特性、资源之间的关系,已经被
随着计算机视觉领域的快速发展,近年来,基于图片和视频的3D人体姿态估计吸引了越来越多人的注意。与2D人体骨架相比,3D人体骨架由于具有旋转不变性,在动作分类上可以取得更好的效果。因此,做好3D姿态估计将会极大的推动动作分类领域的发展。然而,据我们所知,大多数工作解决的是在控制环境下的单人3D姿态估计问题。因此,在自然条件下解决多人3D姿态估计问题有着重要的应用价值。我们提出了基于视频的多人3D姿态
随着近年来信息技术行业的快速发展,传统行业信息化已经被越来越多的企业列为企业的重要战略目标。第三方检验行业作为一个具有拥有悠久历史的行业,同样需要借助信息化手段,解决目前业务领域遇到的管理成本高,人员作业强度大,流程控制困难等问题。本文针对第三方检验机构的业务特点,设计并实现了一套基于微服务架构的检验报告系统,从目前的业务实践中所反映出的问题着手,分析并确立报告系统的功能性及非功能性需求。同时,对