强关联海洋监测数据存储的布局研究

来源 :上海海洋大学 | 被引量 : 1次 | 上传用户:sweetyjiaxin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着全方位海洋立体监测网的建立和“数字海洋”示范效应的扩大,海洋监测数据呈爆炸式增长。面对具有强数据关联性、多学科交叉性、海洋数据获取手段复杂化和种类多样化等特性的海洋监测大数据,如何能够快速、有效地找到所需的数据是海洋研究人员对于监测数据管理的重要需求之一。为了能够更好地组织和管理海洋监测大数据,对于数据的布局策略应运而生,并逐步成为制约数据有效管理和应用的关键问题之一。海洋监测数据的海量性、强关联性及实时更新等特征,给海洋应用(如极地在线考察、怪潮灾害反演、海洋辅助决策)上的数据快速存储和查询造成了巨大的壁垒,带来了如下问题:1)如何对关联紧密的数据进行静态布局,以适应海洋应用高性能计算、高频度查询等需求;2)如何对实时更新、快速增长的海洋数据进行动态布局,从而降低训练时间的开销和用户访问数据的响应时间;3)如何使用合理的副本布局策略,以保证数据的可靠性和安全性,并在一定程度上提高数据的响应速度。为此,本文分别提出了静态数据布局策略、动态数据布局策略和数据副本布局策略,提高了数据的利用率及海洋应用的查询效率。本文以具有强数据关联性、地理区域性、监测实时性等特点的海洋监测大数据作为研究对象,以数据的高效布局作为目标。研究面向海洋数据的布局管理方法,其主要内容包括以下四方面:(1)总结了海洋数据管理的研究现状及关键问题,并通过分析数据布局的结构和功能机理,指出海洋监测数据特性对于数据布局的影响,从而提出了海洋监测数据的定义和符号化表示,为数据布局在海洋数据管理中的应用打好基础。(2)针对海洋监测数据具有海量、异构、强关联的特点,提出了基于关联度的静态布局策略。首先通过分析数据的特性确定了适合海洋监测大数据的云计算存储模式;然后综合考虑监测任务、监测点和监测数据之间的关联,建立海洋监测点间的关联度、监测数据间的关联度和监测数据全局关联度;最后从三个角度对海洋监测数据进行有效地布局。这不仅满足了海洋监测大数据的存储管理要求,同时,将具有较高关联度的数据存放至同一数据中心内,取得了较好的布局效果。(3)针对海洋监测数据动态实时更新、变化大的问题,提出了基于增量学习的动态数据布局策略。根据对海洋监测数据价值的形式化定义,将数据存储区分为活跃区和非活跃区。同时,采用增量学习方法,根据已经获得的知识对数据的增量部分进行学习,而不是对数据增量后的整体数据库进行重新建模,有效地压缩了样本集的大小,并舍弃了无用样本。实验结果表明,数据的布局效果良好。(4)针对系统存储空间利用率和存取的数据保护问题,提出了基于多属性最优化的数据副本布局策略。该策略在动态布局策略的基础上,首先增加了对数据副本热度的定义,然后根据数据的热度值,建立了数据副本的更新方法。同时,分析了存储节点的影响因素,采用多属性最优化方法对影响存储节点的关键属性进行决策分析,找到与各个属性最优的节点进行数据副本布局。实验结果表明,该策略有效地对数据副本进行管理和布局。
其他文献
<正> 西方国家的议会制度是资本主义民主制度的核心组成部分,在国家政治生活中发挥着重要作用。西方国家议会的组成,大致可分为两院制和一院制两种主要类型。据统计,
我国是世界上的能源消耗大国,并且在能源消耗中,煤炭的比例一直居高不下,2013年煤炭在中国能源结构中占比为67.5%。随着十三五发展计划地展开,可持续发展和绿色环保理念的深
<正>《电子科技》(国际刊号ISSN:1007-7820;国内统一刊号CN:61-1291/TN)是由中华人民共和国教育部主管,西安电子科技大学主办的学术、技术类专业期刊。创刊于1987年,国家新闻
人口老龄化已经成为我国现实问题,为解决人口老龄化问题,我国政府也推出了一系列措施,试图改变现状。我国城市人口老龄化相对于乡镇人口老龄化严重很多,在人口老龄化不断推进
全面介绍了燃弧电接触的失效模式及机理,详细分析了触点对电弧热力作用的响应机制,提出了影响AgMeO触点材料电气使用性能的成分、组织结构因素及其机理,根据影响触点材料电气
近年来,高分子材料在新药开发领域发挥着日益重要的作用。概述了高分子在药物控释体系中的应用以及高分子载体药物的特点、合成原则、分类等,重点介绍了目前研究比较热门的可
近几年来,相关部门已经针对存在的水土流失问题采取了相应的措施进行控制和管理,经过几年的不懈努力,水土保持工作也取得了巨大的成果。但是就目前的水土保持现状而言,生活中
海关估价、商品归类和原产地认证是海关三大技术领域。海关估价,也就是商品完税价格审定,一直是海关监管的重点工作,因为完税价格和税率决定了应纳税额。在完税价格审定工作
本文以单片机为基本控制核心的简易数控直流电源。系统由单片机控制输出数字信号,经过D/A转换器输出模拟量,经过运算放大器放大,控制输出电压变化。该系统具有抗干扰性能好,
随着国家经济的不断发展,经济的发展也带动了很多企业的共同提升,企业在经营的过程中,能够通过适当的手段进行企业的经营与管理,能够有效提升企业的经济利益,增强了企业的竞