论文部分内容阅读
信息通讯技术每一次的重大突破与演进都将带来社会发展的新飞跃。自1946年第一台计算机ENIAC诞生至今,在近七十年发展历程中,信息通讯技术的迅速发展和互联网的广泛应用改变了人类生活的各个方面。物联网的兴起被认为是继互联网信息技术革命之后在信息通讯技术领域的又一次重要发展与进步。目前,物联网已在各个相关领域开展了示范性应用,同时迅速成为世界各国的重要发展产业和科研工作者的研究热点。物联网作为互联网的重要扩展,通过搭建普适环境中的感知基础设施对物理世界进行广泛互联,在人类世界,物理世界与信息世界之间构建一个由网络、信息与服务组成的信息生态系统。在传统互联网时代,人与人之间的交流更加便捷,然而传统互联网仅仅实现了信息在人与人之间的共享。在互联网基础上,物联网进一步实现了人、机、物的信息共享,信息世界与物理世界之间形成了更加紧密的信息流动生态系统,进而改变了人们利用传统互联网进行信息通讯和资源共享的方式。本文从数据处理的角度分析了物联网的产生与演化过程。针对物联网数据处理中数据异构性,海量性与实时性等相关的关键问题提出了相应的解决方案。本文贡献主要包括以下三个方面:第一,将不同时期推动物联网发展的关键技术进行对比,归纳整理了物联网在不同阶段中数据处理发展的演化过程。目前已发表成果主要总结了在物联网中应用的相关技术,而没有对这些技术之间的关系以及在物联网形成过程中的演进过程进行对比分析,该部分工作正是已发表成果中所缺少的重要方面之一。本文对物联网中数据特征进行的梳理工作是开展物联网数据处理相关研究中一项重要的基础性工作。第二,针对在物联网中数据的异构性与海量性的特点,本文通过对比物联网、传统互联网与无线传感器网络中不同网络层次中数据含义的不同之处,总结了物联网数据的语义特征。针对物联网数据语义性的特点,设计了基于SOA的物联网数据处理中间件框架,同时在SOA中间件框架中设计了一种针对物联网异构数据语义标注的服务层。利用语义标注层提供的基本语义操作服务,提出了一种基于语义的物联网环境中异构数据的数据融合算法,从而实现物联网数据与互联网上其他资源的互联与交互。本文通过构建了室内环境监测的原型系统进行了实验验证,并利用实验结果获得了相关实验结论。第三,物联网中的数据需要利用各种类型的传感器进行实时采集,处理数据的实时性需要得到可靠的保证,因此本文针对物联网数据实时性的特点设计了相应的流计算架构与算法。与传统的基于历史数据的处理方法不同,本文提出的处理实时数据流的算法不需要花费额外的时间对历史数据进行统计分析,从而保证了计算的实时性。为了达到整个系统的实时性与高吞吐性的要求,本文构建了分布式流计算实验平台并采用了分布式的内存数据库进行数据的存储管理,在实时流计算过程中所有过程数据的计算与存储均在内存中进行。实验结果表明本文提出的算法和搭建的平台满足物联网实时“大数据”流计算处理平台对可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量和低时延等方面的要求。