论文部分内容阅读
近年来物联网的发展备受关注。在云计算技术日益成熟和发展智慧服务型社会的今天,物联网技术的发展和应用有着举足轻重的作用。随着物联网应用范围的不断扩大,物联网技术的研究也在逐渐深入。在物联网的架构中,由于感知设备和感知物体种类的多样性致使物联网中的数据呈现多源异构、海量、时空关联以及高度冗余的特性,为数据的处理带来一定的难度。同时,数据管理层为上层应用提供支撑,因此数据的高效准确处理成为保证物联网应用精确性的关键。目前在物联网的数据处理中用到的是数据融合和MapReduce的处理技术以及采用基于文件系统或关系型数据库的存储方式,基于非关系型数据的存储方式只在少部分应用中采用。研究表明,数据融合的效率将随着数据量的增加而逐渐降低,MapReduce的处理方式在处理小文件的过程中不占优势且不能满足实时性需求。文件系统的存储方式定制化程度高,数据共享程度低,而关系型数据库在存储非结构化数据时性能稍差。针对物联网中的数据特点,本文设计并实现了一种基于Storm的物联网数据处理框架,包括数据的处理和存储。首先在数据的处理上采用优化之后的Storm计算框架,这种“实时的MapReduce"处理方式能够更进一步的切合物联网中的数据特点。为尽可能的节省系统资源,本文提出了Storm的优化方案,即RIPBS (Resource Isolation Policy Based-on Storm)策略并详细阐述了实现方案。其次,提出了基于RIPBS策略的数据处理模型,并详细分析了两个通用模块的实现:Spout读取数据源和在数据处理模型中Zookeeper的优化应用。再次,本文提出了基于HBase的数据存储中心,将物联网的数据存储在云平台和NoSQL数据库中,并提出存储中心的具体实现方案,最大限度地满足了物联网数据的特性。最后针对本文提出的RIPBS策略和基于HBase的存储中心的性能进行了评估,实验结果表明RIPBS策略能够很好的控制系统资源,本文提出的存储中心更具有优势。