基于Hadoop平台的Spark框架研究

来源 :电脑知识与技术 | 被引量 : 0次 | 上传用户:songweiwc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Hadoop是大数据挖掘的主流平台,在该平台上可以进行大数据的挖掘。数据挖掘的规模和速度是我们需要考虑的问题。Spark框架是一个优秀的框架,它集机器学习,图计算和在线学习为一身,是简洁、强大、高效的。该文先讨论了Spark的组成,接着讨论Spark的任务调度方式,最后讨论了Spark的环境及测试。
其他文献
[目的]研究溶胶-凝胶法制备纳米氧化钙(nmCaO)的工艺条件,并探讨溶胶-凝胶法改性羟基磷灰石晶须(HAPw)的工艺参数,研究多孔材料的工艺条件,制备HAPw/nmCaO骨修复材料;初步探讨
鉴于稻飞虱发生期长、具有暴发性、抗药性强等特点,以10%烯啶虫胺水剂为对照药剂,进行了50%氟啶虫酰胺水分散粒剂不同剂量防治稻飞虱田间药效试验。结果表明,50%氟啶虫酰胺水
目的分析南京市≥50岁人类免疫缺陷病毒感染者/艾滋病患者(HIV/AIDS)流行特征,计算晚发现比例并分析影响因素。为制定针对性的艾滋病防控策略提供理论依据。方法收集南京市20
陈炉镇地处陕西省铜川市市区东南20公里处,辖18个行政村、68个村民小组,全镇总面积99.7平方公里,人口1.98万人。陈炉镇制瓷已有1400年的历史,是宋元以后著名的古耀州窑延续生
目的检测云南籍汉族人群葡萄糖6磷酸脱氢酶(glucose-6-phosphate dehydrogease,G6PD)缺乏症患者基因突变型.方法应用突变扩增系统(ARMS)检测6例云南籍汉族人群G6PD cDNA1388(
在中国共产党的领导下,经过我国各族人民长期努力,中国特色社会主义进入了新时代,这是我国发展新的历史方位。在这个新时代,我国社会主要矛盾已经转化为人民日益增长的美好生
随着网络化作战的发展,实现弹道导弹防御系统(BMDS)之间及其与信息源之间的互连、互通和互操作将成为一种必然的趋势,为此,美国导弹防御局提出了指挥控制、作战管理和通信(C2
目的:探讨脑动静脉畸形的诊断标准、治疗策略尤其是显微外科手术要点及预后影响因素。方法:回顾性分析泸州医学院附属医院神经外科2010年1月至2014年10月期间收治的60例经显
党和政府高度重视思想政治教育工作.尽管取得不少成绩,高校思想政治教育仍面临着诸多挑战.红色文化教育关乎着我党的传承与发展,在高校思想政治育人之中进行融入,能够更好地
目的探讨通心络联合西药治疗老年不稳定性心绞痛的临床效果。方法选择2015年6月至2018年6月我院收治的老年不稳定性心绞痛患者100例,按随机数字法分为对照组(50例,常规药物治