海洋实时监测数据流处理优化策略研究

来源 :上海海洋大学 | 被引量 : 1次 | 上传用户:yu0426
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数字海洋一期中对辅助决策系统的进一步研究,现已基本将整体框架建立完备,包括数据源:海洋台站和卫星采集的实时监测数据;传输网络:远海洋数据传输专线和近、中距离3G无线传输网;数据接收站:各级海洋站、海洋中心站和海区中心站。并基本实现了历史海洋监测数据的入库存储,具不完全统计,已经入库存储的海洋历史监测数据量达到2TB,海量的历史监测数据是过往海洋演变过程的重要记录,这些数据将会成为海洋灾害发生时生成辅助决策预案的重要数据和知识支撑,当海洋灾害发生时如何充分的利用这些宝贵的历史数据与最新的海洋实时监测数据进行快速、高效的匹配分析以生成辅助决策预案,并且如何在无海洋灾害时将采集到的实时监测数据在更加节约人力和财力的硬件情况下对数据进行高效能的存储成为了当今数字海洋体系研究的热点和前沿。本论文的研究内容来国家数字海洋上海示范区项目源于国家海洋局“数字海洋”908专项科研课题,旨在解决海洋数字化及综合利用等问题。在数字海洋系统中实时数据的存储机制无法实现动态均衡存储,并且当灾害发生时无法在海量的历史数据中快速准确的匹配相似灾情,不利于数字海洋辅助决策系统的功能发挥。私有云存储可以在节约人力和财力的情况下动态的将海洋实时监测数据分析并存储至相应的专题数据库,GPU协同CPU并行计算机制利用GPU处理流数据并行计算的特点,将数据流匹配分析过程得到优化,在保障了海洋监测数据在存储和匹配上的连续性,对于海洋监测数据连续动态均衡分配存储和高性能处理优化上具有重大研究意义。本文以数字海洋中数据流模型为研究基础,针对海洋实时监测数据特点、存储结构及匹配机制进行深入的研究,分析了数字海洋辅助决策系统进行优化存储、高效能匹配计算机制和的几个热点问题,在此基础上,论文针对当前前沿的关于弹性均衡存储和高性能计算的理论进行了深入的分析与研究,根据数字海洋体系存储、分析的具体情况总体设计并实现了全新的数字海洋辅助决策系统框架。论文首先介绍了研究的背景、国内外数字海洋辅助决策系统研究现状以及论文的研究内容和研究意义。在探索私有云存储机制和GPU协同CPU并行计算理论在“数字海洋”辅助决策系统中的应用同时,论证并阐述了相关的理论基础以及关键实现技术,在此基础上,以建设上海海区数字海洋辅助决策系统为例,进行了系统的总体架构设计。新架构由于优化了实时数据存储机制以及基于并行计算理论进行的数据挖掘匹配机制,所以系统在可靠性、吞吐量、响应时间、资源利用率以及可扩展性方面都优于先前系统。通过研究国内外的私有云存储机制,研究表明当前主流的数据存储系统一般仅仅考虑存储节点内硬盘的负载率,但针对海洋实时监测数据的特点:以数据流形式存在的不间断性及融合多属性信息,以及数字海洋体系已建立传输机制:高带宽的海洋数据传输专线等特点,本文提出了对私有云内部各节点的多性能指标:内存负载率、硬盘负载率以及CPU负载率等多个参数共同进行监控的机制,该机制在综合的考虑了私有云子系统内部所有工作服务器的整体工作状态之后,利用私有云存储的动态负载均衡分配存储机制,将实时的海洋监测数据存储至当前负载率较低的服务器内。该方法的提出真正的满足了海洋监测数据流存储的要求。通过对国内外数字海洋体系以及辅助决策系统的调查研究,本文发现当前主流的系统在系统响应时间往往不甚理想,系统生成辅助决策信息的效率问题成为了当今系统的瓶颈,分析该共性问题,通过分析海洋实时监测数据的具体特点,本文得出以下结论:由于海洋实时监测数据流的高密集性以及GPU并行计算理论技术发展的趋势,GPU已经成为了具有多处理核心、高显存带宽,并且擅长处理以流数据形式存在的高密集性数据问题,所以本文提出了基于GPU协同CPU并行计算理论,本文构建的GPU协同CPU并行计算在利用了CPU逻辑计算优势的同时,利用GPU的高显存对监测数据流进行预处理、归一化处理等操作,最终实现在在GPU多处理核心内部与国家海洋监测标准数据利用DTW算法进行滑动窗口匹配分析。实验结果表明该系统以基本满足对海洋监测数据流存储的优化以及缩短了生成辅助决策系统的时间,由于国内外针对辅助决策系统没有规范及标准化流程和算法的现状,所以本研究的贡献意义不仅仅在于优化了处理海洋监测数据的数据流模型,同时该算法及其思想可以为今后的学者提供理论和实际的借鉴价值。
其他文献
三支决策理论符合人们做决策时的一贯行为。它具有三种决策规则,即接受、拒绝和不承诺。三支决策理论自提出以来,就被应用于不确定、不完整信息的分析判别中。在医疗诊断中,
数字影像设备、网络技术的发展使互联网图像数量呈爆炸式增长,Flickr、Zooomr等社交网站的出现为海量图像资源管理提供了新思路。这类网站的一个重要特点是用户可以手工对共
无线传感器网络是由大量具备传感、数据处理以及无线通信能力的低成本、低功耗微型传感器节点以自组织的方式形成的网络。传感器节点自身特点及特殊的应用环境使得无线传感器
带性能约束布局问题有着较为广泛的应用背景。如钢铁企业的板材切割(最大成材率约束),印刷电路板(PCB)的布局设计(最小权距积之和约束),航天器舱的布局方案设计(最小不平衡量约
随着计算机和网络技术的蓬勃发展,社会化媒体越来越受到广大网民的日益关注。近年来,微博作为一种新型的社会化媒体,已经得到了人们的广泛关注,许多国内外的重大事件都是通过它在
随着移动通信技术的迅速发展,网络带宽和终端设备处理能力的不断提高,已经在传统网络中广泛应用的P2P技术也逐渐渗入到无线通信领域。然而,移动网络因其拓扑结构易变、节点性能
随着智能信息化时代的到来,在日常生活中人们更多的关注与吃、住、行相关的服务信息,因此,智能设备就成为人们随时随地获得这些服务的便捷途径,而这些服务与位置紧密相关,如人们出
互联网开放平台大量涌现,OpenAPI的数量与日俱增,由其搭建而成的Mashup以低成本高价值的优势迅速风靡互联网。然而,如何使得没有开发经验的用户也可以参与个性化应用的搭建,并实
近年来,随着互联网技术的飞速发展,信息安全已成为亟待解决的问题。使用公钥密码体制是提高信息安全性的重要方法。硬件实现的密码系统由于其诸多优势成为新的研究热点。本文在
交互式问答系统需要对上下文的语境进行处理,才能使系统有更强的理解交互能力。问句的语义缺失现象是必要处理的核心问题之一。在交互式问答系统中,存在着大量的语义缺失的问句