基于Hadoop的海量车载物联网数据处理方法研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:slksm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网时代的来临,越来越多的终端被各行各业开发使用。车载物联网作为未来城市交通的核心,也得到了的发展。汽车作为该网络中的外形主体,其本质为车内安装的车载终端;这些终端充斥在城市的交通之中,作为元节点组成了一个巨大的网络;而这些终端所产生的海量数据如何被有效的利用起来则成为当今车载物联网系统急需解决的核心问题。在这种需求前提下,本文提出使用Hadoop分布式平台来存储海量车载物联网数据,并在其框架下完成对数据的分析统计工作。本文首先从分析车载物联网的基础数据结构出发,提出使用HDFS、HBase、Hive组合的存储方案,解决了车载物联网数据高维度、高并发、部分稀疏的存储问题。在此基础上,又深入探讨了对车载物联网数据的分析和挖掘,提出了使用Hive QL和MapReduce模型两种方法来应对不同规模的数据分析,设计实现了部分数据统计,驾驶员行为分析,以及在A-ECLAT算法下状态量关联规则挖掘等一系列数据分析过程。本文最后,按照提出的框架模型,搭建了整体的Hadoop框架,整合了相关组件,并对一些为提高实际存储,分析性能的参数进行设置。从实验数据结果和实验性能上证明了本文所提出的车载物联网数据处理方法的可实现性和有效性。
其他文献
目的观察青藤碱(sinomenine,SIN)联合甲氨蝶呤(methotrexate,MTX)对体外培养类风湿关节炎(rheumatoid arthritis,RA)患者成纤维样滑膜细胞(fibroblast-like synoviocytes,FLS
神经血管单元(neurovascular unit,NVU)概念的提出,为治疗急性缺血性脑卒中(acute ischemic stroke,AIS)提供了新靶点,即应针对包括神经元、微循环及神经胶质在内的整体进行
<正>记者手记:离开的时候,他对我伸出了手,我们互道再见。他的手很软、很热,那种热度一直到离开好久,感觉都没有消失。我想,他就是这么一个人。我们坐在南京的一家咖啡馆里,
目的探讨冠心病(coronary heart disease,CHD)血瘀证遗传相关的差异基因功能及目标通路。方法以家系CHD血瘀证者(A组)及家系CHD非血瘀证者(B组)、家系非CHD血瘀证者(C组)、家
近年来,随着计算机技术和信息技术的发展以及数据库的广泛应用,数据挖掘已经成为机器学习、人工智能、数据库等领域的研究热点。其中,关联规则在商业中的广泛应用使得它成为数据
基于已有的金融素养研究成果,本文从金融素养的定义、测度、影响因素等方面进行详细的文献梳理,着重阐述金融素养对金融行为影响的研究进展,最后提出改善居民金融素养的建议
<正>对于很多已经有过换车经历的朋友来说,二手车拍卖或许已经不陌生,无论是真的接触过,还是亲身实践过的,其实对拍卖的流程都不是很清楚,更多的只是被别人牵着鼻子走。那么,
期刊
目的:比较骶管滴注疗法联合小针刀松解治疗腰椎间盘突出所致腰腿痛的临床疗效。方法:典型腰腿痛并经CT或MR I证实腰椎间盘突出症患者139例,遵从患者知情同意原则,按入院前后
目的探讨类风湿关节炎(rheumatoid arthritis,RA)寒热证候在腕关节超声中的表现特点。方法65例RA患者按寒热证候辨证分为寒湿痹阻证(寒证组,29例)和湿热痹阻证(热证组,36例)
随着临床和病理研究的进展,慢性肾脏病(chronic kidney disease,CKD)和糖尿病肾脏病(diabetic kidney disease,DKD)的概念及其理念的推广,对DKD领域的临床研究已经进入一个新