基于Storm的物联网数据处理框架的研究与实现

被引量 : 0次 | 上传用户:kzhengting
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来物联网的发展备受关注。在云计算技术日益成熟和发展智慧服务型社会的今天,物联网技术的发展和应用有着举足轻重的作用。随着物联网应用范围的不断扩大,物联网技术的研究也在逐渐深入。在物联网的架构中,由于感知设备和感知物体种类的多样性致使物联网中的数据呈现多源异构、海量、时空关联以及高度冗余的特性,为数据的处理带来一定的难度。同时,数据管理层为上层应用提供支撑,因此数据的高效准确处理成为保证物联网应用精确性的关键。目前在物联网的数据处理中用到的是数据融合和MapReduce的处理技术以及采用基于文件系统或关系型数据库的存储方式,基于非关系型数据的存储方式只在少部分应用中采用。研究表明,数据融合的效率将随着数据量的增加而逐渐降低,MapReduce的处理方式在处理小文件的过程中不占优势且不能满足实时性需求。文件系统的存储方式定制化程度高,数据共享程度低,而关系型数据库在存储非结构化数据时性能稍差。针对物联网中的数据特点,本文设计并实现了一种基于Storm的物联网数据处理框架,包括数据的处理和存储。首先在数据的处理上采用优化之后的Storm计算框架,这种“实时的MapReduce"处理方式能够更进一步的切合物联网中的数据特点。为尽可能的节省系统资源,本文提出了Storm的优化方案,即RIPBS (Resource Isolation Policy Based-on Storm)策略并详细阐述了实现方案。其次,提出了基于RIPBS策略的数据处理模型,并详细分析了两个通用模块的实现:Spout读取数据源和在数据处理模型中Zookeeper的优化应用。再次,本文提出了基于HBase的数据存储中心,将物联网的数据存储在云平台和NoSQL数据库中,并提出存储中心的具体实现方案,最大限度地满足了物联网数据的特性。最后针对本文提出的RIPBS策略和基于HBase的存储中心的性能进行了评估,实验结果表明RIPBS策略能够很好的控制系统资源,本文提出的存储中心更具有优势。
其他文献
瑞典科学家经研究发现 ,多吃水果蔬菜可以防止人类基因突变 ,从而降低患癌症的危险。据瑞典《哥德堡邮报》报道 ,瑞典NOVUM研究中心环境医学研究部对人类基因突变和希腊、北爱尔兰
国有企业改革不能简单都以"市场化"为方向、目标和原则,加强党建工作领导国企改革,现代企业制度以实现"人生社会价值"为文化灵魂,稳妥发展混合所有制经济确保国有资产不流失。试
目的:研究妇科护理中家庭式沟通的应用效果。方法:选择本院2017年4月至2018年4月收治的80例妇科患者进行研究,按照患者接受护理的不同方式进行分组,观察组、对照组均40例,对
公司决议是一种非表意的机关行为,其本质是社团内部的意思形成行为,对其属性的考察有助于连接《公司法》第16条和公司担保合同的效力,其本身的解释也应立足于一种跳脱民法范
目前粉煤灰已成为水泥和混凝土领域应用最广泛的矿物掺合料之一。为提高其利用率及经济效益,对其活性的激发成为国内外研究热点。本文采用物理激发的方式将粉煤灰进一步磨细,
本文分别从盾构施工地面沉降监测的内容、监测方法、沉降监测数据处理方法以及沉降规律研究几个方面探讨了盾构法施工隧道工程地面沉降控制技术,并以天津市区至滨海新区快速
温州因信教群体人数多、占总人口比例大而被称为“中国的耶路撒冷”,基督教在温州人的日常生活和工作中扮演着重要角色,温州因而得到学界的持续关注和讨论。本文以1867-1907
根据杆件稳定系数及钢结构的柱子曲线计算理论,通过对空心螺栓球接点网架斜轴心受压斜腹杆的稳定系数计算,并采用正放四角锥网架进行模型试验分析,对空心螺栓球接点网架斜腹杆的
<正>2018年以来朝鲜半岛局势出现前所未有的缓和态势,但2019年2月朝美峰会无果而终后,虽然6月30日两国领导人在板门店会面,朝美对话与半岛局势却一直处于僵持状态,不确定性增
高压锅炉用无缝钢管由于其特殊用途,质量控制尤为重要,本文结合ASME SA213 T22锅炉管的制造与检测,重点就管坯、钢管生产、热处理、无损检测等方面的控制进行探讨,通过实物质