基于Hadoop的云计算模型研究及气象应用

被引量 : 13次 | 上传用户:FUF66877
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术的飞速发展,带来了数据量的井喷式增长,传统技术在处理这些海量数据遇到了不可避免的效率瓶颈。尤其在气象、遥感、地质灾害监测等特殊行业,能否及时、安全、高效地处理其中的海量数据,关系到人民的财产安全和社会和谐稳定。云计算应运而生,其处理海量数据方面有着技术固有的优势,其中Apache Hadoop开源云计算平台正受到知名互联网公司和数据库厂商的支持;Hadoop技术正越来越受到国内外研究者们的关注,也成为海量数据处理技术研究热点。本文旨在通过对Hadoop中的HDFS和MapReduce进行深入研究和探索,并结合气象灾害监测及评估系统工程开发,将Hadoop应用于基于GIS的气象实际业务系统中,并进行分析研究。本文的主要工作如下:首先对气象数据的特点进行分析,并指出将气象数据直接存储于Hadoop中存在的问题。根据气象数据的特点将设计基于Trie树变形的文件合并算法。在此基础上通过实验验证,数据高效率处理、安全等方面得到有效的提升和保障。其次,设计并实现基于Hadoop的海量气象异构数据存储和计算框架,针对气象数据中实时提取有效数据的性能效率、数据保密安全、灾害备份等问题,利用HDFS存储气象数据以及利用MapReduce构建并行算法,将提出基于Hadoop的海量气象异构数据存储和处理框架。并通过实际业务中运行,将验证在并发数据处理上的效果,达到能有效降低成本和保证数据的安全的目标。本文通过研究的模型与实际业务应用相结合,利用前沿的分布式技术来很好的满足项目中的需要,并将模型部署到实例当中,用实际运行结果来检验模型的实用价值。这些工作对大数据处理的研究有着重要的理论价值和实用价值。
其他文献
<正>申请(专利权)人:中国科学院沈阳应用生态研究所申请日期:2008.06.27申请(专利)号:CN200810012058.2主分类号:A23K1/18本发明涉及微生物发酵技术,以豆粕、麸皮、米糠、酱
近年的研究表明,促红细胞生成素(erythropoietin,EPO)除有促进造血作用外,还有组织保护作用。EPO对于缺血性心脑血管疾病具有良好疗效,其可显著提高小鼠对缺氧的耐受力、保护缺血心
研究背景基于颈椎前路内固定系统在临床应用中发现问题为本论文选题切入点:1、颈椎前路内固定系统固定临近节段出现系列问题:诸如异位骨化、退行性变出现或加重、间盘突出、椎
中小企业在我国经济社会发展中发挥着不可替代的作用,却处于融资弱势的不对称地位,融资约束已成为制约中小企业发展的瓶颈。中小企业融资难,不仅是因为中小企业与生俱来的先
分析了催化重整过程中C5—C9组分可能发生的反应 ,基于进出口组分的反应路径网络 ,首先建立了一个描述出口组成和进料组成关系的复杂数学模型 ,在这个模型中 ,考虑了所有可能
泌尿生殖道是一个开放性的腔道,有复杂的微生态环境。正常情况下生殖道菌群相互制约维持一定的平衡。但不恰当的生殖道冲洗、性生活的混乱和广谱抗生素的滥用等可引起生殖道菌
安乐死虽然不是一个新问题,但是具有研究的理论价值与实践意义:在理论上,可以深化刑法正当化事由的研究以及推动犯罪构成理论的改革;在实践上,可以为安乐死的立法提供理论支持以及
骨缺损是临床实践中的常见病例。小范围的骨缺损可以通过机体自身的修复机制逐渐愈合完好并恢复其功能,而当骨缺损范围较大即达到“临界尺寸”时,则需要借助人工植入材料进行骨
<正>糖尿病患者需要尽量将血糖控制在正常范围内,以预防和延缓并发症的出现。胰高血糖素样肽-1(GLP-1)为肠降血糖素的一种,可以葡萄糖浓度依赖性刺激胰岛素分泌〔1〕,艾塞那