大数据实时计算与可视化框架设计与实现

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:liuzufang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为优化现有系统在大数据环境下面临的处理不及时和可视化效果不佳的问题,本文实现了海量实时多源异构数据流提取、汇聚与存储机制,在此基础上,针对大数据实时计算应用和基于实时数据驱动的可视化应用设计了一套通用的大数据实时计算和可视化框架,最后通过网络安全及交通两个行业应用,构建实时数据源,研究并实现大数据实时计算与可视化框架。本文主要工作和贡献如下:  1.提出了大数据环境下的海量多源异构数据的汇聚与存储管理机制  本文探讨了两种分布式实时数据采集工具,用于海量多源异构数据的汇聚,实现了异构多源实时数据的接入。针对不同来源的数据流,如Syslog、自定义数据流等,设计不同的数据流接入方法,根据提取时间形成数据流的时间队列。研究建立面向实时数据缓存和分布式存储系统,满足各类历史数据的分类存储管理。  2.基于大数据实时计算与可视化框架的大数据实时计算设计  为实现面向实时计算的大数据处理,本文设计了实时大数据分布式计算机制。对汇聚的各类数据进行统一格式化预处理,并对统一格式化预处理的数据进行实时提取以及分类存储。并通过缓存机制对接收的数据流进行实时数据计算和缓存,方便后续可视化应用。  3.基于实时数据驱动的可视化方法设计与实现  通过数据服务接口DataService接收实时传输的数据,实现海量多维数据以图形图像的形式动态展现。运用Jquery,Bootstrap等前端框架进行页面的实现,对于数据动态展示部分,如图表,地图等利用D3,Echarts,Arcgis以及百度地图api等工具来进行实现。在此基础上,对不同可视化工具进行比较和优化,满足海量实时数据的高效可视化展示。  4.面向实时计算的可视化示范应用  本文通过搭建的通用大数据实时计算与可视化框架,实现了安全领域以及交通领域的两个典型业务需求,包括网络安全动态攻击监控可视化,车辆实时位置监控。
其他文献
作为网络管理的核心功能之一,性能管理包括对网络以及应用的监测、及时发现网络堵塞或中断情况、全面的性能故障排除、容量规划和有效地分配网络资源等功能,在网络管理中占有
X射线相衬成像技术是自1995年开始引起关注的一类新型X射线成像技术。不同于传统的基于物质对X射线的吸收差异的成像方式,X射线相衬成像技术是通过捕捉X射线与物质相互作用后
网络数据共享是网络测量领域中的重要研究方向。在互联网研究中,流量数据尤其是多域数据对流最工程、性能评价、安全测试等方面工作有重要意义。然而,由于数据安全等原因,目
动芯是由中科院计算所无线通信技术研究中心自主研发的面向宽带无线通信的基带信号处理芯片,矢量DSP(Digital signal processor)是芯片的核心处理器。动芯矢量DSP上运行的是基
节能与新能源电动汽车正处于规模化进入市场的起步阶段,也是市场培育和产业化发展的关键时期,为确保节能与新能源电动汽车这一战略性新兴产业的健康有序发展,需要建立一整套
学位
随着IPv6技术的普及,IPv6多归属技术的使用也将成为一种普遍的现象。然而,虽然多归属是一项很好的技术,但在实际运营中,它也带来了许多问题,比如核心路由表的过度膨胀问题、I
伴随着信息技术的飞速发展,承载于网络平台的信息以指数级态势增长,信息量的暴增虽然极大的丰富了人们的生活,但是过量信息的同时呈现反而使得人们越来越难以获取到感兴趣的
随着OpenFlow协议的发展,OpenFlow交换机的转发面从简单的基于十元组的流表结构变成OpenFlow1.3规范中的多达40个匹配域的多级流表流水线结构。复杂而又灵活的流表流水线结构
矢量场是科学研究和数值仿真中的重要对象,它常常涉及到一些非常复杂的动力性质,依赖于可视化方法来表现为易于观察的视觉表达形式。这些可视化方式大部分都依赖于大量的数值运