【摘 要】
：
大数据技术平台有很多,最为流行的是Hadoop生态系统,而Hadoop生态系统涉及的技术繁杂,最为核心是HDFS和MapReduce,前者实现的是分布式存储,后者实现的分布式并行处理,而后又
【基金项目】
：
江苏省高校自然科学研究面上项目(19KJD520008),江苏省高等学校大学生创新创业训练计划项目(201913843018Y),2019年度泰州市科技支撑(社发)项目(SSF20190072)
论文部分内容阅读
大数据技术平台有很多,最为流行的是Hadoop生态系统,而Hadoop生态系统涉及的技术繁杂,最为核心是HDFS和MapReduce,前者实现的是分布式存储,后者实现的分布式并行处理,而后又出现了Spark、Hive、Pig等技术,给很多初学者理解和掌握大数据平台造成了困难。为了帮助区分这些技术的用途、优势以及之间的关联性,选择合适技术来解决大数据的计算和存储问题。以经典的WordCount程序为例,在伪分布式集群上使用不同的技术来实现该程序,且易于被还原,通过对实验流程、核心代码、适用场景进行分析研究,
其他文献
设计了符合现场实际情况的无线微震实时监测预警系统方案,为巴玉隧道进、出口正洞和平导提供了安全预警技术。结果表明:对于特长深埋高岩爆风险隧道,利用无线网桥设备进行微
国家实验室是体现国家意志、实现国家使命、代表国家水平的战略科技力量,目前,我国的国家实验室建设尚处于起步阶段。通过梳理国外经验,总结国内先行省市实践探索,针对武汉在
为培养学生的机构分析能力,在机械原理课程设计中对3-PRR并联机器人机构动力学建模分析进行研究。推导出3-PRR并联机构位置反解、速度反解和加速度反解等方程。基于第2类拉格
为提高生化传感器的性能指标,以光学环形谐振腔为载体,研制了一种新型环形谐振腔生化传感器。介绍了环形谐振腔结构参数,应用时域有限差分法(FDTD),对环形谐振腔进行了系统的
针对塔式太阳能热发电系统中定日镜的逐日跟踪问题,开发了一套用于定日镜双轴运动控制的实验系统。采用STM32F407为主控单片机,实现Modbus-TCP通信、EEPROM非易失性参数存储