一种基于MongoDB和HDFS的大规模遥感数据存储系统的设计与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:feijin4fhi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
遥感数据有多标准、多类型、多尺度、多级别、海量以及分布式存储的特征。随着遥感技术和信息处理技术的不断进步,不同类型、不同级别的遥感数据不断涌现,社会各领域对遥感观测数据的需求越来越大,我国各部门和科研机构都建立了针对各行业不同资源类型、彼此异构的遥感影像库,形成了一个分布式的、异构的、跨部门的、跨地域、资源类型多样的遥感数据库群,大大制约了各部门间遥感数据的共享和应用。为了满足对遥感数据的管理及共享需求,我们实现了一个基于MongoDB和HDFS的大规模遥感数据存储系统,本文介绍了系统的详细设计与实现,并重点介绍了异构遥感元数据集成以及海量遥感数据高效存储两项关键技术。针对遥感元数据多源、异构、海量等特点本文提出了一种基于映射模板的异构遥感元数据集成方法,可以实现异构遥感元数据的格式化统一及高效存储。并具有支持元数据动态扩展的能力,可以解析不断涌现的新类型新格式遥感元数据,解决了以往的元数据管理系统扩展性兼容性差且不利于数据共享的问题。遥感元数据特点是异构、只读、小文件、海量。而遥感影像数据不但具有只读、海量的特点,而且单个遥感影像数据文多为GB数量级的大文件,而且多为冷数据访问频次少。系统的存储层通过采用遥感元数据和遥感影像数据分离存放的策略,并针对两种数据的特点进行了优化。针对遥感元数据采用了基于MongoDB的存储架构,系统不但能够提供高效的数据存储,而且具有高可靠性、高扩展性的特点。针对遥感影像数据系统采用基于HDFS的分布式文件存储架构,而且为了提高存储资源利用率优化了HDFS的多副本存储策略,提供了基于文件访问频次的混合存储策略,在保证数据可靠性和访问速度的前提下提高系统存储资源利用率。
其他文献
<正>作为全国劳动保障监察"两网化"管理工作试点城市之一,潍坊市"两网化"管理于2008年正式启动,历经多年探索实践,在框架体系、网格划分、机构队伍、设施装备、机制制度、信
目的:了解雷公藤制剂所致肝毒性、生殖毒性、血液系统毒性不良反应发生的特点和规律,为促进其安全使用提供参考。方法:检索中国生物医学文献数据库、中国期刊全文数据库及中
随着科技的进步和社会的发展,网络经营和网上消费越来越受到广告经营者和消费者的青睐,互联网广告在经济社会领域中发挥着不可替代的作用。但是带来巨大便利的同时也带来了很
<正>编辑同志:我最近去医院看病,查出患有胆结石,这个结果让我十分苦恼:先前得的高血脂、高血压要我少吃肉,现在是不是豆制品都不能吃了,这可怎么办呢?吉林长春肖俊肖读者:在
本文提出两条语义角色优先序列,用以表现汉语句子中主题、主语和宾语与各种语义成分的配位原则。作者试图达到两个目的,一是用高度概括的形式说明相关的语言现象,以收以简驭
采用毛细管流变仪,以聚丙烯接枝马来酸酐(PP-g-MAH)为增容剂,研究了PP-g-MAH对PP/玻纤增强聚酰胺6(PA6)共混体系流变性能的影响。结果表明:PP/玻纤增强PA6共混体系为典型的切
健康是一个永恒的话题,追求健康是人类不懈奋斗的目标。健康权作为一项基本人权的提出,是晚近的事情。1966年联合国《经济、社会及文化权利国际公约》第12条对健康权的规定“人
目的:探讨自体颗粒甲床组织移植修复外伤性甲床缺损的效果。方法:对32例34指甲床缺损患者,采用指根或臂丛神经阻滞麻醉下,彻底清创后,根据甲床缺损面积的大小,切取部分伤指的
六西格玛管理与企业管理创新之间的关系问题是近年来理论界争议的焦点问题。企业管理创新的本质特性分析表明,管理创新的本质就是打破现有思维模式的束缚,通过变革管理思路、
唐朝在中国历史上是一个空前强大繁盛的帝国,当时许多亚洲国家的政治经济文化各方面都受到了来自大唐的影响,民族关系融洽,中外交流密切,它的富足与开放是所有艺术发展的沃土