集群环境下海量数据存储管理技术的研究

被引量 : 0次 | 上传用户:qwer32173
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在石油勘探、遥感等领域中,海量数据文件经常以TB数量级别出现。在存储的过程中,时常由于单一存储设备的容量不足而导致海量数据文件无法存储,只能通过添加新的存储设备解决问题。当前许多技术都提供了将多个盘阵处理为一个虚拟盘的功能,以适应对TB级数据的存储。但这仍然不能避免多个存储系统中的“边缘”数据存储的问题,即一个磁盘系统剩余容量只能存储地震数据的一部分。其次,多种存储设备(例如磁带机)存储方法不同,造成在存储海量数据时不能统一有效的进行存储,而是需要通过转录等形式,降低了存储设备的存储效率,极大的影响了企业的工作效率。集群环境下,海量数据的存储还依赖于节点间高效的任务调度,资源的使用越平衡,作业响应时间就越短。所以一个适合的节点间任务调度算法对于缩短作业平均响应时间,提高节点资源平均使用效率进而提高海量数据存储性能有着非常重要的作用。由于以上的原因,相关领域中亟需要一种在集群环境下能够对海量数据进行存储管理的模型机制。在这种模型机制中,各种介质存储设备将进行统一存储、海量数据将跨盘跨介质存储并且采用高效的任务调度算法以缩短作业平均响应时间,提高存储效率。提出相应的跨盘存储方法和调度算法测试方案,并实现一个原型。主要研究内容:多介质存储设备统一存储机制。通过分析磁带机等多介质存储设备的存储特性,采用管道技术、进程机制以及底层IO系统调用等,屏蔽了存储设备的异构性,提出二套存储设备统一存储访问接口,最终实现了多介质存储设备的统一存储,并对一套解决方案在数据安全性和缓冲区大小等方面进行了对比。海量数据跨盘存储机制。分析了海量数据跨盘存储研究现状,采用底层文件IO存储访问接口,提出了海量数据跨盘存储访问机制,包括一套底层的文件跨盘读写接口,以及相应的配置跨盘操作系统原型,实现了海量数据的跨盘存储,并对相应存储接口进行了测试。集群环境下负载平衡调度算法。分析了基本的动态负载平衡算法,采用其中轮转法与加权法相结合的方法,提出了一种负载平衡调度算法,通过对实验算法的性能对比,该算法具有响应时间短、负载平衡次数少、额外开销少等特点,最终实现了工作效率的提高。
其他文献
钱君匋在书籍装帧设计领域被誉为“钱封面”,在美术外他又同时进行诗歌的创作。将他在诗歌与美术之间的创作思想融通,从诗歌化的美术创作角度对钱君匋书籍装帧设计作品的视觉
无论是慈善机构,还是全社会都应高度重视个人捐赠,特别是个人的小额捐赠在慈善事业发展中的作用。这里,首先是慈善机构本身要转变观念,要有战略眼光,要从公民慈善、道德教育
<正>对纳米银焊膏黏接器件进行了应力控制棘轮失效实验,并通过一种非接触位移测试系统在线记录纳米银焊膏黏接器件在测试过程中的力-位移数据。主要研究了平均应力,应力幅值,
会议
硫磺熏制是中药材加工、储存、养护的传统方法之一。其除虫防霉效果明显,可以保持药材的水分,使药材外观良好、色彩鲜艳、保存方便,而且操作简单,原料价廉易得,所以被众多的
随着主观性评价文本数量的不断增长,文本情感分析已经成为众多研究者关注的对象.比较要素抽取是比较句情感分析的重要研究任务之一,比较句的情感分析结果与比较要素相结合才
施工测量贯穿施工全部过程,在施工中起着非常重要的作用。坐标转换在水利工程测量工作中经常运用,笔者对在水利工程测量工作中坐标转换的实际使用进行初步总结,探索在施工测
新型城镇化是以人为核心的城镇化,如果没有产业的支撑,新型城镇化建设也就失去了存在的根基。我国经济发展进入新常态,郑州产业支撑新型城镇化建设具有良好的基础条件和突出
儒家文化博大精深,影响深远,是中华民族传统文化的核心和基础。儒家的礼法文化是中国传统文化的重要组成部分;“德主刑辅”的儒家法模式自西汉以后两千年来成为封建中国治国安
<正>一、前言:随着人们环保意识的增强,清洁燃料在各大中型城市已普遍使用,小型燃油(气)锅炉已逐步取代小型燃煤锅炉。由于锅炉结构形式各异,使用环境不同,燃油(气)锅炉对燃
连作障碍问题的发现已有上千年的历史,但对其发生机理和克服措施还没有取得突破。本文分析了植物次生代谢物的种类及其产生机理、次生代谢物的自毒作用、植物对自产的次生代