基于时空特性数据的分布式存储系统的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:wjlayt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
时空数据具有空间性和时间性的特征,详细记录了事物的空间属性和随时间序列而改变的信息。在不断发展的信息化时代中,时空数据的应用变得更加广泛。从智慧城市监控器中捕获的图像数据,到各地方随时间变化的天气状态信息,再到应用程序所产生的日志信息,这些都是属于时空数据。而随着时空数据的广泛应用,如何对这些数据进行高效的存储和查询,成为了一个值得研究的课题。不同于传统的数据类型,时空数据具有空间性和时间性的特征。时空数据往往是随时间序列增长而产生,后期上层应用可能会对时空数据进行数据挖掘和智能分析,从而获取有用的信息。时空数据具有以下几个特点:存在一个空间属性,表明了数据的生成者;数据的产生具有时序性,往往是连续地写入系统;上层应用对时空数据的查询一般是大批量的;数据不存在修改,它表明了事物在某个空间和时间的真实性。因此,如何实现一个高效的面向时空数据的存储系统是本文需要研究的课题。本文设计并实现了一个基于时空数据的分布式存储系统,并详细地阐述了系统所涉及的理论基础、设计思路、实现方案以及测试分析。本文的主要完成的工作如下:(1)本文对分布式存储系统的相关理论技术进行了深入地研究;选取中心节点的方式,设计了一个分布式存储系统的节点布局架构;中心节点采用一主多从的集群方式提供服务,以解决中心节点的单点故障问题;系统架构支持节点的动态变更。(2)通过对时空数据的特性进行详细分析,本文根据时空数据的空间性和时序性特点,以LSM-Tree作为参考基础,提出了一种面向时空数据的高效的存储策略。针对磁盘顺序存取的高效性,系统以数据块文件的方式进行数据持久化,并为数据块建立了分布式索引,提高数据检索效率;系统基于数据范围分片算法对时空数据进行分片,提高数据查询效率和系统的容灾性。(3)本文对实现的分布式存储系统进行了详细的功能测试以及性能测试,测试项目包括了节点变更,数据存储和数据查询等情况,并对测试结果进行了详细的分析。
其他文献
<正>本次演讲源于我1974年在恐怖主义领域中做的一些研究工作。我关注的许多现象之一是绑架了帕蒂·赫斯特(Patty Hearst)的共生解放军,还有一些现象则发生于魁北克,与魁北克
识字教学是语文教学的重点,也是难点。我们应该把握好学生的识字规律和语文学科的特点,采取多种形式,激发识字兴趣;转变学习方式,感受识字乐趣;加强课外阅读,提高识字能力。
基于PLC的温度控制系统以三菱FX2N型PLC为控制核心,由扩展模块FX2N-4AD—TC,FX2N-2DA,热电偶组成。根据已经建立的模糊语言变量赋值表和模糊控制规则,进行模糊推理和模糊判决,建立
目前水电工程移民前期设计工作中存在许多问题和困难。为了有效有序开展水电工程移民前期设计工作,顺利推进水电工程建设,针对这些问题提出了一些建议,探讨了移民政策平衡、
采用逐层沉积的方法,在基材表面获得了1—8层Ni基电火花涂层,探讨了电火花沉积过程中Ni基电极的质量过渡规律及电极材料的流失形式。结果表明:Ni基电极向基材的平均质量过渡系数
生活中的一些突发事件,特别是哀伤性事件,会给来访者带来情绪上的创伤,甚至影响他们正常的社会功能.高中生小文在丧失事件发上后产生了强烈的哀伤情绪,心理教师运用空椅子技
补充侦查制度适用于检察机关审查起诉阶段,是由我国特有的司法现状和诉讼结构模式所决定的,对于准确惩罚犯罪、提升公诉质量,强化侦查监督具有积极的作用。本文认为正确理解
<正>联系单位:饶平县新丰镇水利水电管理所项目内容:建设规模为水陂、引水管、引水渠、厂区及相关配套设施施工,管材及配件采购,管材公称外径32~300mm。建设地点为饶平县新丰
近年来,深度学习的卷积神经网络已经逐步应用于人们的生活之中,尤其是日益增加的交通管理系统。针对于桥面上过往车辆检测问题,论文引入SSD(Single Shot MultiBox Detector)