科学数据管理系统的研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:uugoooo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学研究的发展,在各个研究领域都产生了数以拍(Petabyte)计的海量数据,比如基于地理位置坐标的空气质量信息,类似的这些数据都有自身的组织特点——多维数组模型结构。  尽管在商业领域关系数据库系统和Key-Value数据库系统都有了广泛的应用,并且取得了巨大的成功,但到目前为止,由于科学研究领域数据的结构不同与传统的数据,使得此类商业数据库系统在科研领域的应用面临着很多难以克服的问题。关系数据库系统和Key-Value数据库在存储和处理多维数组模型数据时改变了数据的天然数组模型结构,使得后续的数据管理的过程变得过于复杂,从到导致数据很多却找不到有用信息的困境的产生。商业数据库系统已经不能满足科学数据处理的需求,需要研究和开发针对科学数据管理的系统。  论文着手研究分析科学数据管理的需求,结合科学数据的多维数组模型结构特点,针对目前科学领域的相关的应用,设计并实现了一个命名为SDBM的科学数据管理原型系统。在系统架构方面,SDBM采用了无共享分布式架构,通过可靠的消息和任务机制保障系统的稳定性;在存储管理方面,SDBM设计了一次性写入型的只读多维数组模型,通过一种高效的版本控制方法,保证数组数据的动态更新和高效压缩存储以及通过数组分块实现数据的分布式存储;在数据查询方面,SDBM实现了简单的函数式编程语言AFL,并提供了用户查询接口和编程接口。最后以SDBM原型系统为支撑,开发了天文望远镜系统和FITS文件管理系统,得以验证SDBM系统的可行性。
其他文献
随着计算机网络和多媒体技术的迅猛发展,图像、视频、音频等多种形式的数字作品的创作、存储和传输变得极其便利,人们享受便利的同时,各种非法复制、分发、篡改等,也严重侵害了多
数据挖掘是一种重要的数据分析技术,而关联规则是一种描述型数据挖掘,关联规则的算法属于无监督学习的方法。动态关联规则挖掘,是在普通关联规则的基础上进一步描述了规则和数据
无线自组织网络是一种自治网络,具有信号的广播暴露性和节点性质的不确定性,这使得无线自组织网络易于受到各种类型的安全攻击。组网方式的不同是无线自组织网络同传统有线网络
无线随钻测量技术是近些年来发展起来的一种新的测井技术,代表着随钻测量的研究方向,在大位移井、高难度水平井中得到了很大的应用。在无线随钻测量系统设计过程中,井下的各
随着数字媒体技术和网络技术的发展,基于动态视频融合的增强现实技术研究已经成为计算机图形学和计算机视觉等相关领域的重点研究课题,也是未来数字媒体技术发展的趋势所在。
随着计算机图形学的发展,虚拟现实技术的应用越来越广泛。锂铅实验回路是研究聚变堆液态金属锂铅包层的重要实验平台。回路中含有大量的管道,为方便观察实验过程,需要对管道进行
近年来,随着互联网和音频技术的快速发展使得网络上的多媒体信息的获取和编辑变得更简单。如何保护音频作品的版权是现在急需解决的问题。数字水印技术将一些隐秘信息嵌入到载
随着随机优化理论的多应用化、随机规划模型的多样化及模型求解的复杂化,随机理论研究及其应用领域均急需寻求一套求解模型的方法。基于此本文提出一种求解随机机会约束规划
城市的各个角落时时都在产生许多不同种类、不同结构的数据,随着科技的飞速发展,这些数据都可以被很好的感知和储存。但如何高效的利用城市已产生的数据,将这些异构数据进行
合成地震记录是用声波测井或垂直地震剖面资料经过数学的方法模拟实际地震记录;建立起地震与地质相结合的桥梁。它是地震模型技术中应用非常广泛的一种,也是层位标定、油藏描