基于Hadoop的海量气象数据的存储设计与实现

来源 :山东科技大学 | 被引量 : 0次 | 上传用户:ziones
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,气象灾害频繁发生,严重影响国家经济发展和人民的生命财产安全。人们对于气象预报的准确性和实时性提出了更高的要求,因此对数值天气预报技术的要求也越来越高。数值天气预报中,数值模式计算过程复杂,而且模式计算中生成了大量数据,如何管理和存储海量气象数据是当前数值天气预报的研究内容之一。  本文根据浙江Rewise公司气象数据实例,分析气象数据的特点,设计了一种基于Hadoop的海量气象数据存储方案,分别对海量气象数据小文件和海量的气象云图以及气象指数信息采用如下存储方式:  将海量气象数据小文件合并成大文件,存储到HDFS分布式文件系统中,采用一种基于Trie改进树的索引方式,按照地区的不同,获取气象数据。这种方式既符合HDFS大文件存储的需求,又能够提高气象数据的索引效率。  对于海量的气象云图,则采用目录管理的方式存储到专门的图片服务器,并将云图的索引信息存储到HBase分布式数据库,以提高气象云图的索引效率;对于气象指数信息则是按照地区的不同存储到HBase中,具有较好的可扩展性。  最后,本文经过一系列的实验,分别采用Rewise公司目前采用的多级目录管理的气象数据存储方式和本文设计的Hadoop的HDFS分布式文件系统存储方式,从负载压力进行了对比,并且从访问速率进行的分析,证明了采用HDFS分布式文件系统进行海量气象数据的存储方法,能够解决目前Rewise公司面临的气象数据文件访问速率低和因用户访问量过大而造成的I/O瓶颈的问题。
其他文献
高维数据的近邻搜索是许多应用研究的一个基础问题,它需要依赖于有效的数据结构和算法。本文主要研究了局部敏感哈希算法并对其进行了改进。  在本文中,我们首先阐述了局部敏
遥感图像的聚类分割是分析遥感图像中地貌特征与空间关系的重要步骤。由于遥感图像具有数据维度高、数据量大、数据结构复杂的特点,传统的模糊聚类方法在遥感图像分割中的应
随着数据管理需求的不断增长,降低与控制数据中心的能耗成为一个挑战性问题,DBMS是数据中心核心软件,能效查询处理与优化是其中一个重要议题,随着新硬件的发展(固态盘),在新
随着计算机和互联网使用的普及,企业信息化变得越来越重要,巨大的应用需求推动了企业级应用技术的发展。J2EE技术被大规模地用在了信息系统之中,并在企业级应用市场上占领着
随着科技的发展,国家越来越重视可再生能源的开发。小水电作为一种清洁、可持续、安全有效的可再生能源,在国家能源发展战略上有着深远的意义。但由于水电机组设备比较复杂,通常采用人工的方式进行异常检测,这样不但效率低下而且有时不能判断噪声源的准确部位,因此需要研究基于机器学习的识别方法。非负矩阵分解处理数据后具有非负组合的特性,如何将非负矩阵分解算法应用于水电机组噪声源识别中具有非常重要的研究价值。本文分
21世纪初,Ahlswede等人从信息论的角度出发,提出了网络编码的概念,它可以大幅度提高网络的传输容量,从而能够在有限的网络资源上传输更多的信息。目前大部分路由协议的研究仅
垃圾邮件泛滥问题日益严重,垃圾邮件过滤技术日益成为当今的研究热点。目前垃圾邮件过滤技术主要包括第一代基于规则的过滤技术、第二代基于内容的过滤技术和第三代基于行为
图像检索技术起源于上个世纪八十年代,人们主要是通过对关键字手工标记进行图像检索。而后随着图像处理技术的迅速发展,基于内容的图像检索(CBIR)技术在图像处理领域得到广泛
随着互联网和信息技术的高速发展,互联网上的信息急剧膨胀,造成了信息过载问题,导致用户很难从海量信息中获取自己所需要的信息。如何快速有效地帮助用户找到所需的信息、解决信
随着角色动画在电影游戏等行业的大量应用,人体动画合成研究已经成为计算机图形学中一个重要的研究领域。三维人体动画合成技术从传统的依赖动画师经验的手工制作到结合运动