基于Spark的云平台性能评估技术研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:ericshen81
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是一个蓬勃发展的分布式计算模型,其主要目的就是处理和存储大数据。建立云平台的挑战之一是评估云平台性能,确定影响性能的主要因素。其中,系统性能指标分析可对云平台性能状态做出预测。本文主要研究基于Spark的云平台性能评估技术,主要做了以下三个方面的工作。首先,针对平台性能评估指标的确立和研究指标与负载性能间的关系问题,提出了Spark性能分析框架以及指标分析与负载预测模型。Spark集群在执行批处理应用时,利用多元线性回归技术,可以计算产生的真实性能指标数据与集群负载性能间的相关性以及指标权重值,并确定影响负载性能的主要指标因素。其次,云平台中工作节点存在计算能力差异、节点处理数据量大小的差异以及程序执行过程中的不确定性等问题,这些使得云平台在处理每个作业任务的执行时间会有很大的不同,为了能提高对Spark负载执行时间的预测准确性,合理申请Spark集群资源,提出了作业时间指标融合计算方案,以及提出基于标准回归系数的加权支持向量回归作业时间预测模型。实验表明,本文提出的预测模型可给用户在预测Spark资源开销上提供有效数据参考。最后,针对影响云平台性能的指标权重计算技术,以及云平台在执行作业过程中时间资源预测技术进行原型系统设计实现,测试了不同类型的工作负载与不同数据量场景,得出指标分析技术能有效且客观地计算出指标权重,而预测技术能较为准确的估测平台作业执行时间,为云平台资源的租赁提供参考依据。
其他文献
<正> “菖蒲”之名最早出现于《神农本草经》,称其能主风寒湿痹、咳逆上气、开心巧、补五脏、通九窍、明耳目、久服轻身、不忘、不迷惑、延年。列为上品。《本草纲目》把菖蒲
公务员制度的建立是政府行政管理中的一大变革,对政府行政效率产生了积极的影响,提高了公众对政府的满意度,我国也在20世纪90年代建立了具有中国特色的公务员制度。随着社会
随着全球竞争的进一步加剧,德国越来越难以保持其工业大国的地位。美国、日本和韩国等工业化国家也正在通过各种措施加快创新速度。比如,美国借助各中东部国家的能源优势和原
新课程倡导发展性评价,建立促进学生全面发展的评价体系。小学科学课程改革中,对评价也提出了新的要求,即评价应能促进学生科学素养的形成与发展。“评价就要关注学生学习的
<正>《翻滚吧!阿信》讲述的是一个体操少年追逐梦想的故事,但作为一部讲述体操选手的电影,该影片并没有走人物传记片式的沉重路线,而是糅杂了很多深沉的东西,用台湾特有的文
设备端的通信产品要求启动快,采用FPGA芯片时,加载时间要小于2 s,针对这个要求,介绍了企业中最常用的FPGA从串加载方案,提出了一种利用CPLD提高FPGA加载速度的方案,并就改进
茶叶是近代中国对外贸易的重要商品之一,其出口趋势的变化对近代中国进出口贸易及国民经济有着不可忽视的影响。从对外贸易的一般理论出发,在现有资料的基础上,拟对近代中国
“胖”是人们日常交往过程中,仅次于男女性别的第二识别步骤,同时也是具有多重隐喻及内涵的外观形象。艺术发展至今,有越来越多的艺术家将“胖子”这一夸张的形象运用到艺术
作为当前计算机视觉领域一个具有挑战性的基础研究方向,行人检测问题在过去几十年里一直备受关注。数学上,作为非凸优化的一个应用,基于深度神经网络模型的行人检测算法已经取得了突破性的进步。尽管如此,在面临实际的复杂生活场景时,当前几乎还没有算法能同时满足检测准确度和速度的要求。针对这一研究问题的复杂性,本文具体研究了两类检测问题:(1)多尺度的行人检测;(2)严重遮挡的行人检测,最后试图在保证较高计算速
提出了气相色谱-质谱法测定空气中8种挥发性酚类化合物含量的方法。空气样品采用硅胶吸附管采集,丙酮淋洗解吸。在气相色谱分离中用HP—VOC色谱柱为固定相,在质谱分析中采用选