基于Hadoop的智能制造大数据平台的设计与实现

被引量 : 0次 | 上传用户:safafaffaf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在工业4.0时代,伴随着传感器技术、计算机技术的飞速发展,工业领域的数据规模迅速增长,数据中所蕴含的价值也越来越多,这也是传统制造企业信息化系统待解决的痛点——海量工业数据的集成存储和分析问题。在传统制造企业业务信息化系统之间更是存在“数据孤岛”的现象,各个业务信息化系统的数据流通性差,阻碍了以数据驱动的智能制造的发展。因此怎样解决智能制造数据的集成存储和分析问题,从海量数据中挖掘深层价值,具有重要的研究意义和使用价值。本文源于国家重点研发计划“基于工业互联的网络协同制造集成技术与平台研发”,针对集团制造企业存在的产品制造全流程全产业链数据资源汇聚与利用难、运营服务效率低等问题,设计了一个基于Hadoop的智能制造大数据平台,实现对集团制造企业多源海量数据的集成存储和分析。首先,分析了工业数据的特征、分类以及数据的来源,然后根据数据类型和特点的不同分别设计了数据采集方案和数据存储方案,设计并实现了一种面向多源历史数据的ETL数据采集系统和基于Hive的数据仓库,为多源海量数据的集成存储提供了解决方案。其次,对于大数据处理领域的常用算法进行优化和实现。针对传统K-means聚类算法K值和初始聚类中心难以确定的不足,通过Canopy算法和最大最小距离算法进行优化,并采用Flink分布式计算框架完成K-means聚类优化算法的并行化实现,提高了聚类过程的计算效率和准确率;针对DBSCAN聚类算法计算效率较慢的问题,采用Spark分布式计算框架实现DBSCAN算法的并行化,在无明显聚类精度损失的同时获得了较好的加速比。最后,基于VMware Workstation虚拟机软件搭建了大数据基础平台Hadoop集群及相关组件,并按照B/S架构和前后端分离架构对平台进行了初步实现,降低了前后端的耦合,在后端采用Spring Boot框架完成业务代码的实现,在前端采用了HTML、CSS和Java Script等组件,并对平台相关功能进行了验证,验证了本文平台的可行性。
其他文献
随着社区矫正信息化的逐渐完善,其对定位监管方面的需求也不断提高,社区矫正终端需要精确、实时地将被监管对象的位置上传至定位平台。本文基于MT2503芯片,根据社区矫正定位监管的各项需求完成了支持人脸识别的电子腕带嵌入式软件设计,实现了终端的定位、报警、人脸认证等功能。MobileFaceNet是一个针对嵌入式设备与手机设备的轻量级人脸识别算法,但是其输入图像分辨率较高,网络层数过深,对于本文的电子腕
学位
自约瑟夫·熊彼特指出创新是经济发展的本质以来,世界各国政府一直致力于提高科技创新能力以推动经济增长,装备制造业作为高科技核心技术展现最集中的产业,其科技实力直接影响着一国的利益分配和产业格局,决定着一国工业的国际竞争力。改革开放以来,中国制造以低端要素禀赋优势切入全球价值链,我国装备制造业总体受益于国际分工,同时对外贸易“份优位低”,直到21世纪初中国装备制造业依然在全球价值链中处于低位。尽管产业
学位
中亚区域在全球多极化格局中的地位极其重要,新疆因得天独厚的区位优势成为名副其实的丝绸之路经济带核心区(简称“丝路”核心区),肩负着贯通东西、连接中亚的历史使命。金融资源在时间和空间维度上的集聚与扩散已成为全球金融业演变的大趋势,金融集聚水平的高低决定了金融支持实体经济发展力度的大小,“丝路”核心区金融集聚水平偏低,极大地限制了其支持“丝路”建设功能的发挥。主流经济学长期将制度视为经济增长的外生变量
学位
近年来,随着我国环保要求日益严苛、供给侧改革步伐不断加快以及“双碳”目标的提出与推进,煤化工行业迎来新一轮的技术升级和产业转型。以安阳化学工业集团有限责任公司作为核心管理团队与安阳永金化工有限公司、安阳龙宇投资管理有限公司等成立的安阳化工园区有3条完整的产业链,但2020年园区生产链的开端——安化公司煤制气系统因工艺技术落后以及受产业政策的影响关停。在“双碳”目标的大背景下,在政策倒逼下,园区以安
期刊
英语学科在新时期全面推行素质教育,重新凸显了人文精神。在课程标准中,对情感目标进行了清晰的分级,关注了学生的情绪发展,这是一种教学方法和教育目的。正确运用恰当的情感教学方法,是推动素质教育向前迈进的一大步。在中学英语课堂上,培养良好的师生情感关系,可以提高学生的学习兴趣,减少英语学习的压力,促进教师进一步深化教学,提高教学质量。但是,在实际中,由于教学任务的影响,教师只注重教学进度,忽视了学生的情
会议
随着粮食危机、金融危机和能源危机的相继爆发,全球范围内掀起一股跨国投资土地的热潮,有学者称其为海外耕地投资。近年来,无论是在投资规模还是在参与国家的数量上,海外耕地投资均取得了长足的发展。海外耕地投资快速扩张的同时也暴露出一系列问题,如投资过程不透明、侵害小农户权益、破坏生态环境以及滋生腐败等。这些问题不仅造成当地民众对海外耕地投资项目的抵制,也引起了国际社会的广泛关注,有激进者甚至称海外耕地投资
学位
<正>广西的贵港国家生态工业示范园区内,一个千亿级电动车产业集群已经起航——中国-东盟新能源电动车生产基地坐落于西江科技创新产业城,规划建设6.66 km~2,计划总投资157亿元,如今基地初具规模。如今,我国步入新的发展阶段,如何深入贯彻新发展理念,
期刊
报纸
近年来,在新一轮技术发展和产业变革的背景下,多数商业银行利用信息系统建设使金融业务与大数据、云计算等新兴技术深度融合,为银行的经营与业务的蓬勃发展提供了持续的创新动力。吉林省农村信用社(以下简称“吉林农信”)是吉林省最大的地方性金融机构。随着业务快速发展,数据积累越来越多,为了解决全行数据存储与计算能力不足的问题,吉林农信于2019年依托Hadoop架构搭建大数据平台,通过大数据平台搭建统一报表、
学位
报纸