论文部分内容阅读
物联网被称为继计算机、互联网之后的世界信息产业第三次浪潮,全球各国纷纷将物联网产业提升到国家发展的战略高度。随着物联网的高速发展,物联网支撑系统面临着以下几方面必须解决的关键技术问题:(1)海量数据的传输。物联网传输层的任务是把大量终端采集到的信息可靠地传输到后台中心服务器,但是目前传输层网络的建设还远未达到迎接物联网产业规模爆发的水平,感知层采集到的海量数据实时地涌入传输层网络,会导致网络拥塞或节点故障,因此如何快速发现网络故障节点是物联网数据可靠传输的保障。(2)海量数据的挖掘处理。传统数据处理平台难以满足物联网海量数据挖掘的发展要求,具体体现在计算时间过长、容易造成内存不足、系统磁盘存储不够等方面。此外,传统的并行方法抽象度不够高,普通程序员较难掌握。(3)数据的展示和使用。设计出一个通用的用户和数据中心的图形化交互方式也是物联网支撑系统一项待解决的关键问题。
云计算超大规模、高可靠性、可扩展性等特点恰好迎合了物联网向规模化、智能化发展的需要,对海量数据进行存储和处理是云计算的突出特点和能力。本文基于开源云计算平台Hadoop,研究了上述物联网支撑系统的关键技术问题:
(1)采用复杂网络抗毁性研究中的网络节点去除机制,模拟物联网传输层计算机网络中的节点故障,来研究节点故障以后网络遭受破坏的程度,并根据实验结果构建出了一种基于中介性的计算机网络故障定位模型。然而,随着网络规模的扩大,传统方法计算网络中介性的时间复杂度过高,本文改进了基于MapReduce编程模型的中介性算法,提高了运算效率,扩大了基于中介性网络故障定位模型的应用规模。
(2)实现了kmeans聚类算法的并行化,并通过实验验证了MapReduce并行化后的kmeans算法部署在Hadoop集群上后,具有较高的加速比和良好的扩展性,能高效的对海量数据进行聚类。证明了通过把传统数据挖掘算法并行化,运用云计算技术进行数据挖掘是值得研究和推广的。
(3)采用SOA架构思想,使用OSGI的标准设计和实现了云服务,为互联网用户通过图形化界面与Hadoop云平台进行交互提供了一个原始模型,并且模型能够方便地扩充为更复杂的云服务。
实验表明,把云计算融入到物联网支撑系统之中,有助于解决物联网海量数据的可靠性传输和海量数据的挖掘处理、数据的展示等关键技术问题。