论文部分内容阅读
随着我国空间探索任务和科学卫星事业的蓬勃发展,空间科学已从低空探测发展到深空探测,科学探测范围逐步扩大,探测器也日渐增多,卫星探测任务更加频繁,这些因素引发了数据规模的迅猛增长趋势。科学卫星从立项到在轨运行,产生的数据种类非常多,数据量庞大,存储特别分散,很难通过传统方式,将其综合起来,应用到卫星的在轨运行管理中。在卫星运控数据管理领域,传统面向关系数据库管理系统的方法正面临着海量结构化、半结构化甚至非结构化数据集存储管理瓶颈,高并发访问与高扩展性的挑战,需要采用新方法对其实施有效管理,更好地服务于卫星运控管理应用和其他应用。借鉴发展日益成熟当前大数据技术,将大数据技术引入到科学卫星运控系统中。探索性地将大数据存储管理方法应用到围绕科学卫星产生的数据中,将卫星运控数据存入No SQL非关系数据库中,服务于卫星的在轨运行管理,发挥其模式灵活、快速存取、容错容灾、高并发访问、横向可扩展伸缩等特性。将大数据存储与处理框架Hadoop探索性地应用到科学卫星运控系统,集中统一管理卫星生命周期中产生的海量非结构化数据,在有效控制系统维护成本的前提下,使系统获得海量存储能力、并行分布式处理能力、可扩展与可伸缩能力。论文的主要内容包括:1、分析卫星运控数据的特点,介绍卫星运控的相关知识背景。2、分析大数据技术的特点及对卫星运控数据管理的适用性。介绍分布式存储处理框架Hadoop以及No SQL数据库理论技术,分析探讨No SQL与传统关系型模型之间的差异,得出分布式处理框架和No SQL更适用于海量运控数据管理需求的结论。3、根据运控数据的特点,设计选择合适的大数据平台工具;4、基于hadoop分布式处理平台,将海量结构化半结构化卫星工程数据存储到HBase的数据模型设计及优化存储方案,以及将海量非结构化卫星生命周期数据以文件方式存储在HDFS分布式文件系统上,相应的元数据信息存储到HBase以获得快速查询响应特性和可扩展特性。5、通过部署配置及优化hadoop系统以及hbase存储实验验证大数据技术在卫星运控领域的可行性。本文使用大数据技术对卫星运控数据存储,具有一定的技术创新和实际应用价值的探索。