论文部分内容阅读
在计算机网络技术飞速发展、人类获取数据能力不断增强的今天,各行各业拥有的数据量呈现指数级增长态势。海量数据的廉价存储、快速处理、深入挖掘利用等难题,直接促成了“大数据”技术的出现以及科学研究范式向“数据密集型科学发现”的转变。大数据具有体量巨大、类型繁多、价值密度低、商用价值高以及处理速度快等特点,以大数据为研究对象的数据处理、保存、分析应用技术正处于迅猛发展阶段。 在我国海洋领域,海洋数据总体上呈现海量、多源、异构、时空多序列等特性。为了有效解决海洋大数据在廉价存储、不一致、冗余以及数据完整性等诸多问题,实现海洋大数据在数字海洋专网范围内的自由共享,可视化应用,本文对海洋大数据体系的构建以及海洋信息可视化技术做了深入研究,提出融合数据仓库、关系数据、文件格式的半结构化数据以及NoSQL键值数据库的海洋大数据体系的构建方案,并开展了以海洋大数据体系为基础的可视化应用技术研究。本文具体内容及其创新点包括: (1)提出了面向海洋大数据的数据集成理论。从数据环境不断进化的角度,指出海洋大数据体系属于第五类数据环境,深入论述了海洋大数据体系的基本框架、数据存取流程以及数据集成过程中的Global-as-view(GAV)、Local-as-view(LAV)与Global-and-Local-as-view(GLAV)数据模型,提出了基于GLAV海洋数据集成模型。 (2)提出了海洋大数据平台的构建方案。在数据存储体系中引入了开源数据存储平台Hadoop2.2.0以及NoSQL数据库HBase,在实验环境下实现了海量海洋大数据的分散存储、集中管理以及基于数字海洋专线网络的共享应用。 (3)提出了基于海洋大数据体系的多源、异构、多序列时空结构化海洋环境数据的融合方案。通过对结构化海洋环境数据要素属性的综合分析,创建了结构化海洋环境数据键值模型;使用基于语义的数据源描述方法,实现了多源、异构、时空多序列海洋环境数据的无缝集成与应用。 (4)突破解决了二维空间位置坐标的压缩存储以及在行键数据库中的有序排列关键技术。通过引入Geohash算法以及改进的Base64编码,实现了结构化海洋环境数据中相邻位置坐标数据尽量在字典序序列中集中分布,为高效的数据分析、挖掘应用提供数据结构保障。 (5)设计了安全、可靠、高效的实时海洋环境数据的传输协议,并实现了在海洋大数据体系框架下的数据集成与应用。通过综合利用数据加密、压缩技术以及原创性的基于滑动窗口的数据传输技术,利用北斗短报文服务(SMS),在不安全、不可靠、低效的通讯信道上,实现了海洋实时观测数据的安全、可靠、相对高效的数据传输。 (6)提出了基于webGL技术构建海洋信息可视化平台的构想。通过对国内外主流的虚拟地球平台的对比分析,结合海洋行业对可视化的实际需求,提出使用WebGL技术构建基于海洋大数据体系的三维可视化平台,是未来海洋信息可视化技术的发展方向。 (7)最后,本论文的研究成果在“数字海洋三维可视化系统”、“船载北斗导航动态监测与服务系统”以及“海洋综合管理信息系统”的建设中得到了实验性应用,验证了本文所述海洋大数据体系、可视化技术在海洋信息化应用系统建设中的科学性与合理性。