Hadoop在气象数据存储中的应用

来源 :气象研究与应用 | 被引量 : 0次 | 上传用户:wencentss
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
利用虚拟资源池搭建基于Hadoop的大数据存储架构,将海量自动站文本数据、数字化历史图片以及二进制雷达基数据按照自定义ETL存储规则进行数据清洗之后存入大数据框架,在并发读取效率测试中取得了良好的效果,为应对海量气象资料增长在扩展性和系统性能方面提出的挑战提供解决思路和基本模型。
其他文献
【摘 要】在整节课的教学设计中,以建构主义理论为指导,辅以多媒体手段,采用情景教学法和引导式教学法,实现知识在情景中的形成和实践过程。  【关键词】匀速圆周运动;情景;教学设计  1.教学内容分析  五年制高职物理不仅是一门重要的文化基础课,而且是一门重要的技术基础课。本节选自苏州大学出版社出版的五年制高职《物理》第一册第六章《周期运动》的第2节。对照课程标准,要求通过所授内容的学习,理解匀速圆
随着炼铁生产规模的不断扩大。旧的喷煤系统已经难以满足高炉煤粉需求量不断增加的要求。通过系统升级改造,建立一套完善的自动化控制系统。从控制规模、控制精度、控制方式、
仿制药一致性评价是指对已经批准上市的仿制药,按与原研药品质量和疗效一致的原则,分期分批进行质量一致性评价,仿制药需在质量与药效上达到与原研药一致的水平。仿制药一致性评价对保障公众用药安全,全面提升我国仿制药质量,提高行业整体水平,增强医药产业国际竞争等发挥着不可替代的积极作用。生物等效性试验是评价仿制药与原研药的质量和疗效一致性的重要指标。生物等效性试验是指用生物利用度研究的方法,以药代动力学参数
"乡村振兴"正在成为新时代中国社会发展,特别是农村发展的核心战略。乡村振兴策略期望解决城乡发展不均衡,农村发展不充分的问题,解决好这个问题,教育是一个核心要素。教育的
《学报编辑论丛》(6)(以下简称《论丛》(6)将于9月底出版,这是令人欣慰的事。在此,要感谢《论丛》(6)的编委会、主编柳志慎、戴立春、副主编郑福寿、曹柏荣、裘宗奖和中国药
建筑工程施工过程中,工期的把控和建筑成本的优化控制做的好,可以大大提高工程项目的价值。BIM技术是将建筑模型化,通过计算机将工程先施工一边,通过事前控制,在工期管理、成本优
数控技术专业课程设置与开发应以人才需要为导向,以职业教育理论为指导,依据职业学院现状,确定本专业培养目标。数控技术专业课程设置应追求知识与技能相结合,并将课程模块化、综
就超疏水膜的制备技术及其应用的最新成果进行了概括.利用含氟材料极低的表面能,将掺杂技术、气相沉积、溶液凝胶、等离子刻蚀、等离子沉积、碳纳米管阵列排布等技术有机结合
为精准服务中国矿业转型发展,推动全球矿业可持续发展,中国矿业报社成立了中国地质调查局国际矿业研究中心,旨在通过创新体制机制,有效组织行业内顶级研究力量,建立开放式科
为了有效提高测量管桩桩位偏差及资料整理的效率,本文基于Visual Basic平台,进行程序的编译,通过对管桩理论坐标与实测坐标的对比,获取超过桩位偏差允许范围内的桩号及桩位偏