海洋大数据体系构建及可视化应用关键技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:slksm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机网络技术飞速发展、人类获取数据能力不断增强的今天,各行各业拥有的数据量呈现指数级增长态势。海量数据的廉价存储、快速处理、深入挖掘利用等难题,直接促成了“大数据”技术的出现以及科学研究范式向“数据密集型科学发现”的转变。大数据具有体量巨大、类型繁多、价值密度低、商用价值高以及处理速度快等特点,以大数据为研究对象的数据处理、保存、分析应用技术正处于迅猛发展阶段。  在我国海洋领域,海洋数据总体上呈现海量、多源、异构、时空多序列等特性。为了有效解决海洋大数据在廉价存储、不一致、冗余以及数据完整性等诸多问题,实现海洋大数据在数字海洋专网范围内的自由共享,可视化应用,本文对海洋大数据体系的构建以及海洋信息可视化技术做了深入研究,提出融合数据仓库、关系数据、文件格式的半结构化数据以及NoSQL键值数据库的海洋大数据体系的构建方案,并开展了以海洋大数据体系为基础的可视化应用技术研究。本文具体内容及其创新点包括:  (1)提出了面向海洋大数据的数据集成理论。从数据环境不断进化的角度,指出海洋大数据体系属于第五类数据环境,深入论述了海洋大数据体系的基本框架、数据存取流程以及数据集成过程中的Global-as-view(GAV)、Local-as-view(LAV)与Global-and-Local-as-view(GLAV)数据模型,提出了基于GLAV海洋数据集成模型。  (2)提出了海洋大数据平台的构建方案。在数据存储体系中引入了开源数据存储平台Hadoop2.2.0以及NoSQL数据库HBase,在实验环境下实现了海量海洋大数据的分散存储、集中管理以及基于数字海洋专线网络的共享应用。  (3)提出了基于海洋大数据体系的多源、异构、多序列时空结构化海洋环境数据的融合方案。通过对结构化海洋环境数据要素属性的综合分析,创建了结构化海洋环境数据键值模型;使用基于语义的数据源描述方法,实现了多源、异构、时空多序列海洋环境数据的无缝集成与应用。  (4)突破解决了二维空间位置坐标的压缩存储以及在行键数据库中的有序排列关键技术。通过引入Geohash算法以及改进的Base64编码,实现了结构化海洋环境数据中相邻位置坐标数据尽量在字典序序列中集中分布,为高效的数据分析、挖掘应用提供数据结构保障。  (5)设计了安全、可靠、高效的实时海洋环境数据的传输协议,并实现了在海洋大数据体系框架下的数据集成与应用。通过综合利用数据加密、压缩技术以及原创性的基于滑动窗口的数据传输技术,利用北斗短报文服务(SMS),在不安全、不可靠、低效的通讯信道上,实现了海洋实时观测数据的安全、可靠、相对高效的数据传输。  (6)提出了基于webGL技术构建海洋信息可视化平台的构想。通过对国内外主流的虚拟地球平台的对比分析,结合海洋行业对可视化的实际需求,提出使用WebGL技术构建基于海洋大数据体系的三维可视化平台,是未来海洋信息可视化技术的发展方向。  (7)最后,本论文的研究成果在“数字海洋三维可视化系统”、“船载北斗导航动态监测与服务系统”以及“海洋综合管理信息系统”的建设中得到了实验性应用,验证了本文所述海洋大数据体系、可视化技术在海洋信息化应用系统建设中的科学性与合理性。
其他文献
党的八大会议后,党在探索建设社会主义的实践中,针对党内滋长的官僚主义、宗派主义、主观主义等脱离实际的倾向,党中央决定,从1957年5月开始,在党内进行一次正确处理人民内部矛盾
位于干旱环境下的玛纳斯河流域具有独特的景观分布和格局状况,过去50年里,该流域经历了巨大的变化.该研究以地球信息科学、景观生态学和地学信息图谱为理论依据,采用地理信息
作为陆地生态系统水文循环过程中最重要的水分输出机制,地表蒸散发与地表水热平衡息息相关。然而,在山地特殊的气候和地形条件下,山地地表蒸散过程表现出极大的复杂性及地形相关
如何按照旅游者的市场需求,结合旅游资源的分布特点,有效组织合理的空间结构,是旅游开发和规划过程中需要加以解决的重要问题之一,但目前从城市角度,系统的旅游空间结构研究
本文首先综合分析了SDI的定义、发展现状和趋势,提出SDI是一个不断演化的动态体系,其内涵是为共享和应用地理空间信息所采取的技术和非技术手段的综合。共享和应用的载体、方式
设计了一种基于NI虚拟仪器技术的多种速度传感器信号检测系统,该系统采用NI PCI-5112采集分析信号数据,在NI LabVIEW图形化开发环境下编制不同的测试程序,对被测信号进行快速
该文首先从海洋的地学特点出发,阐述了海洋GIS与陆地GIS的不同;然后根据物理海洋学中所涉及到的海洋现象入手,讨论了海洋现象表达与海洋要素数据表达的不同.在此基础上总结和
气候变化和人类活动的影响,使得中亚地区生态系统脆弱,跨界流域问题和生态系统变化导致了诸如“咸海危机”等一系列问题。  本文以中亚咸海两大支流流域——阿姆河和锡尔河为
土壤-植被系统蒸散发(Evapotranspiration,ET)由土壤蒸发、植被蒸腾和植被降雨截留损失三部分组成,是水圈、大气圈和生物圈能量和水分交换的主要过程。蒸散发消耗了地表获得的大
城市生态基础设施是指城市所依赖的自然系统,是城市及其居民能持续获得自然服务(Natures Services)的基础.工业社会,城市建设对生态环境的破坏大大降低了生态基础设施的服务