基于Storm的云监测实时系统研究

来源 :昆明理工大学 | 被引量 : 1次 | 上传用户:baichunbo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在互联网飞速发展的今天,智能化的网络应用获得了空前的发展。中国高铁技术的不断发展,给高铁实时数据监测提出了更高的要求。传统的监测活动已经无法满足当前大数据时代的需求,人们越来越多的倾向于异地的、实时的监测方法,这就给云监测系统的应用提供了广阔的发展空间。本文设计了一种新的数据格式,详细的给出了监测参数的命名空间和编码方式。本系统是基于Storm的云实时监测系统,采用三层架构的B/S方式,分块处理各层数据。第一层为实时源数据处理平台。采用Storm大数据实时处理框架对源数据进行快速剥离和分发,Storm实时数据处理框架是当前实时应用的法宝,它以非常高效的计算策略对接收到的源数据进行剥离,并将剥离后的有效数据快速发送至数据库中,从而保证了数据在计算剥离阶段的实时性要求。第二层为数据存储策略层。根据客户端查询数据的紧急程度,将MySQL数据库与Redis数据库的使用功能分离,将数据存储的持久化工作交付给MySQL数据库来完成,采用Amoeba作为访问MySQL数据库的代理层,很好的解决了MySQL数据库的负载均衡和高性能读写分离等问题。根据Redis内存数据库的特性,本文设计了基于发布/订阅策略的数据推送方式,实现了只推送不存储的功能。该策略将数据划分为实时数据与历史数据,采用“一对一”策略实现了数据存储与实时数据推送的分离,有效地解决了单一数据库的负载过重,因读写冲突而导致的系统性能严重下降等问题。第三层为数据呈现层。将数据分为实时数据与历史数据,实时数据的推送工作由WebSocket全双工通道技术完成,WebSocket通道是客户端与Web服务器端通过WebSocket协议握手同意后建立的,通道建立后便可将实时数据推送至客户端,并采用Highcharts图形显示技术进行实时显示。在数据实时显示的同时,采用上下阈值预警机制记录异常数据,并及时通过邮件和短信的方式通知系统管理员,以防止重大险情的发生。历史数据和其他用户数据则采用HTTP协议传输数据。通过实验对比,基于Storm的云监测实时监测系统对比传统基于HTTP方式的监测系统性能更加优越,监测范围可弹性伸缩,实现了真正意义上的异地、实时监测。
其他文献
近年来,随着社会的不断发展,车联网作为物联网在交通方面上的分支迅速发展,各类汽车的数量也在不断增长。不论是汽车租赁公司还是其他各类车辆管理公司,对车辆的统筹管理开始
随着国家经济的高速发展和人们生活水平的不断提高,"吃饱"早已经不是人们生活所追求的目的,而更加讲究的是饮食种类丰富,搭配营养均衡。当下,水产品养殖产业在我国得到了迅猛
随着粘结磁体产品在高温领域应用需求的增大,以工程塑料聚苯硫醚(PPS)为基体制得的粘结磁体材料越来越得到研究者的青睐。同时聚苯硫醚具有优异的性能,但是致命的脆性限制了P
房地产建筑的开发建设是一项较为系统的工程,涉及范围比较广泛,管理工作也相对复杂。房地产建筑施工管理与其质量有着非常密切的联系,基于此,本文重点探讨了房地产建筑施工管
我国秦山三期核电厂采用的是加拿大CANDU-6反应堆机组.这是我国首次引进重水压力管式反应堆堆型,为了满足这一新堆型燃料管理计算的需要,开发了CANDU堆燃料管理的计算软件DRA
为解决B/S模式的盾构远程监控系统随着处理数据量加大出现数据库负载过大、网页显示延迟等问题,基于B/S模式和Redis缓存技术设计盾构远程监控系统,系统包括数据层、应用层和