基于数据库集群的海洋环境数据优化存储与分布式管理

被引量 : 0次 | 上传用户:dukewyh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于卫星遥感等海洋探测技术的快速发展,所获得的海洋数据呈爆炸趋势增长,数据量高达几百GB甚至于TB级的海量海洋数据库应用已经出现。海洋环境数据存在着多源多格式、数据量大的特点,而基于互联网或局域网对这些数据的访问又有速度、效率、可用性等方面的要求。本文针对这些问题,研究海量数据优化存储方法以及基于数据库集群的分布式数据管理技术,提高海洋数据管理的整体性能和系统的可靠性。论文的主要研究内容和成果如下:1.海洋环境数据优化存储研究由于海洋环境数据应用具有面向查询的特点,查询效率和存储空间占用量是进行海洋环境数据库建设所要考虑的最重要的因素。基于这种实际需求,对海洋数据优化存储进行研究,研究包括三个方面:改造传统关系存储模式;研究数据分片方法;研究相应的数据操作方法。本文提出了一种新的类似网格结构的关系模式Grid_R来管理海洋数据,该结构类似数据采集的实际地理经纬度网格,除了时间,纬度,将所有的经度直接作为属性列。数据分片方法以及相应的数据操作方法研究均基于Grid_R数据组织结构。通过存储与组织的优化减少了数据库的数据冗余,磁盘空间占用量不到传统方法的1/4,减少了网络传输时的数据量,在某种意义上实现了数据压缩。单表查询效率比传统方法提高了4倍以上。2.基于数据库集群技术的海量数据分布式管理研究传统的集中式数据库系统难以有效支持基于wEB的海洋地理信息系统功能。随着数据库请求不断增加,查询方式的日益复杂,数据库服务器的负载增加,响应单个请求的速度越来越慢,对系统的稳定运行带来了不利影响。海量数据也对单服务器的存储能力提出挑战。本文将数据库集群技术应用于海洋环境数据的管理,提出使用基于中间件的数据库集群实现海量数据的分布式管理,将数据分布于不同的数据库节点上,集群中间件系统负责各节点的协作与并行处理,可以获得高性能、高可用性、高可扩展性,突破传统的集中式数据库服务器上的DBMS所固有的性能瓶颈限制。3.海洋环境数据库集群关键技术研究基于优化存储结构和分布式管理策略,对数据库集群数据分布、负载均衡以及并行查询等关键技术进行研究:提出了一种新的数据分布算法:两步分布法,将数据集分为分片数据集和复制数据集,两步分布法即先均匀分布分片数据集、再按异构节点资源权值分布复制数据集,在保证相邻数据分布在不同节点的基础上,使数据分布尽量达到均衡;提出了一种基于数据复制的动态负载均衡算法来平衡集群的负载,以达到提高整体性能的目标,并解决了局部节点过热和集群可用性问题;提出了一种并行查询算法来实现用户对集群的透明查询,将用户的全局查询进行解析,根据元数据将全局查询转化对各节点的本地查询,调用负载均衡获得最佳查询节点,然后在各节点并行执行查询,最后进行重构得到最终结果,并将结果返回用户。根据研究成果,基于海洋大气地理信息系统MAGIS(Marine and AtmosphericGeographicalInformation System)平台软件,建设了多节点海洋环境数据库集群,并开发了集群中间件分布式海洋数据管理器,实现了海洋数据的优化存储与分布式管理,提高了系统的整体性能和可靠性。
其他文献
现代哲学有现象学和存在论两个系统,二者又互相交集、合流,而且都产生了审美主义走向。这种历史现象提示一个理论问题,就是美学是充实的现象学和本源的存在论,从而美学就不是哲学
目的:探究基层医院环境卫生学监测的培训模式,以提高护理人员对医院环境监测的质量。方法:比较传统培训与循环式培训实施前后护理人员对医院环境监测质量的影响。结果:循环式
目的:通过对消化性溃疡中医辨证分型与胃镜下表现及Hp(Helicobacter pylori,幽门螺杆菌)感染等客观指标间相互关系的研究,探究微观辨证与宏观辨证的关系,为消化性溃疡中医辨
研究目的:分析行业的主导性、土地要素依赖性、生产要素需求特征及其对自身生产效率的影响。研究方法:投入产出分析、聚类分析、数据包络分析法。研究结果:产业集群依赖于主导行
利用加速试验方法研究了风积沙混凝土在腐蚀与冻融双因素作用条件下的损伤规律,并借助气泡间距分析仪(analyzer of air void spacing,AVS)、环境电镜扫描(environmental scan
<正> 玉米芯原料经预处理以硫酸为催化剂,在直接蒸汽加热的条件下,半纤维素水解成木糖。然后经净化处理和加氢反应生成木糖醇。最后通过蒸发、结晶和分离得到结晶木糖醇成品
目的:通过冠状动脉造影下血管病变程度与证候及脉象的关系研究,提高脉诊对冠心病的确诊率,藉此丰富并指导冠心病中医诊疗学。方法:选取100例因胸闷或胸闷痛为主症于我院做冠
在二语习得的较高级阶段,产出性词汇能力往往不能与接受性词汇能力同步发展,而似乎在某一个水平上石化。本文分析了导致这一现象的主要原因和促进词汇产出能力提高的教学手段
<正>古希腊文学是西方文学的最早源头,是欧洲文学的真正开端,古希腊文学体现出来的人文主义思想对欧洲文学的发展产生了深远的影响。一、古希腊文学人文主义思想的主要内涵马
<正>不久前,洋码头创始人曾碧波给员工的内部信在互联网圈里掀起了轩然大波,那些"不识千里马"的投资人都被点了名。其实跨境电商只jo是在2013-2014年这段时间才崭露头角。本
期刊