基于Impala的大数据查询分析计算性能研究

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:chaofree900521
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分析了Cloudera公司推出的Impala实时查询引擎原理与架构,并深入比较Impala与传统MapReduce的性能与特点,针对Impala进行复杂大数据处理方面的不足,提出了MapReduce与Impala结合的大数据处理方法,通过使用MapReduce对Impala的输入数据进行预处理,利用MapReduce在复杂作业处理方面的长处弥补了Impala在这方面的不足。最后对电信手机上网日志进行大数据查询和分析计算实验,实验结果表明,在大数据查询性能方面,基于MapReduce与Impala结合的大数据处理速度比传统MapReduce快了一倍。特别地,在迭代查询实验中,基于MapReduce与Impala结合的处理方法超过传统MapReduce方法八倍以上。基于MapReduce与Impala结合的处理方法在单次查询中的效率仍然高于传统MapReduce;而在迭代查询中,MapReduce与Impala结合的处理方法远远地超过了MapReduce。因此,MapReduce与Impala结合的处理方法能够发挥Impala和Hadoop各自的优点,让处理效率远超传统MapReduce,对于复杂的大数据处理的能力高于Impala。
其他文献
经济全球化趋势日益增强,现代科学技术突飞猛进,国际竞争日趋激烈。这种竞争,归根结底是人才资源的竞争。各项人才工作的基础性和起始性工作就是人才的供求量的预测,需要清楚
目的研究社会经济状况对儿童青少年膳食质量的影响,为提高中小学生的膳食质量提供参考。方法采用分层整群抽样方法,按城市中学、城市小学、乡村中学、乡村小学各抽取4所学校,
城市从诞生到现在,其空间形态发生了翻天覆地的变化,这种变化在某种程度上来说是符合时代特征的,甚至可以说是满足了人类欲望的,但是不得不承认的是,现代城市空间已经出现了
改革开放以来,国家和社会越来越注重教育的发展,对中小学生的综合能力的要求也越来越高。很多技能型课程都已经在中小学中提前开设了。地理属于一门注重实践的学科,对学生的
采用气体色谱(GC)法测定八角茴香不同加工品的八角茴香反式茴香脑含量;并以药效评价八角茴香不同加工品的温阳散寒及止痛作用。采用无水乙醇分别提取微波火力60%烘干、光波烘干
随着生活水平的持续改善,而大学生这样消费群体尤其的特殊,其消费能力被广泛管关注。在大学生消费行为与消费心理中其群体特殊性被显现出来,尤其在旅游消费上,当代大学生消费
非开挖拉管施工技术是市政给排水工程中的常见施工技术,对市政给排水的改造具有重要的影响作用。我国城市为了提高人们生活的质量以及舒适度,开始大力对市政给排水工程管道进
目的:分析小儿狼疮性肾炎的流行病学特征,临床表现,检验资料及治疗方案。方法:收集2016年11月-2018年2月于住院治疗10例LN患儿相关的临床资料,收集的内容包括患儿的性别、年
身处相对实力下降阶段,美国在外部世界的价值诉求与其现实利益目标之间的冲突和矛盾越来越明显。为了继续获得国际"领导者"的合法性地位和在全球实现美国普世价值的扩张,美国
语文的功能既在于培养学生使用语言文字的基本功,也应着眼于培育学生的人文精神与健全人格.文学是更高级阶段的语文,它不仅有利于提高语言文字表达和写作的技能,更有利于开启