基于Hadoop的时态信息存储与检索策略的研究

被引量 : 5次 | 上传用户:zmzsyx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的深入发展,蜂拥而至的信息演变成了各个领域和行业分析、处理以及应用的关键,成为左右决策最重要的因素。几乎所有信息都显式或隐式地具备时态特征,探讨时态信息的存储与检索技术成为是时态信息处理的核心之一。当前架构在传统关系数据库之上的时态数据模型在进行超大规模和高并发的时态数据存储和处理时遭遇了性能瓶颈,暴露了诸多难以克服的问题,既无法满足对时态数据的高并发读写需求,同时也难以处理大量存在的类型复杂的非结构化数据,学者们开始逐步关注分布式系统基础架构Hadoop下的应用。Hadoop是一个开源的云计算架构,具有大规模扩展和水平分布的特点,可以提供动态的存储和计算能力,这就为海量时态数据的存储和快速检索提供了一个新思路。针对海量非结构化时态信息,构建了在分布式环境下的数据存储模型并在此基础上提出一种基本的时态数据处理方法。使用Hadoop平台下的分布式、非结构化数据库HBase对时态数据进行存储,构造以时态集合为时态存储单元的时态数据存储模型;对于时态信息的查询需求,针对分布式处理特征和时态集合数据类型,提出一种在Map/Reduce编程计算模式下进行时态信息关系演算的实现方法;通过扩展时态区间关系运算,实现以时态集合为基本时态数据操作对象的交、并等关系运算,并以医疗时态数据作为研究实例,表明了所提出的时态数据存储模型和关系演算方案在分布式应用系统下的适用性。对于时态信息的快速检索需求,设计了多级分布式哈希索引表算法(tDHT),实现对时态列族的时态属性值的高效、快速的检索。通过将时态属性值向二维空间映射,实现时态数据向空间对象的转化,采用对空间数据的处理方法对时态数据区域进行划分,生成多级时态数据子区域,利用分布式哈希表思想设计HBase存储的多级索引表目录。论文的创新之处包括:(1)针对传统的时态数据库在存储海量非结构化时态信息遭遇性能瓶颈,构建分布式存储结构HBase下的海量时态信息存储模型,设计了海量时态信息的存储架构;(2)对于存储体系中时态信息的查询、分析操作,提出一种在Map/Reduce编程模式下进行海量时态信息关系演算的方案,实现了以时态集合为操作对象的并、交以及笛卡尔积等时态关系演算过程;(3)针对海量时态信息的快速、高效检索需求,设计了多级分布式哈希索引表算法(tDHT),实现对时态列族的时态属性值的高效、快速检索。根据设计方案,文章最后进行了相应的性能测试和数据分析,从实验结果可以看出,本文提出的海量时态信息的存储、查询与检索方案在云计算平台下展现了良好的适用性,较大程度上提高了对海量时态数据的处理能力,表现出了较好的性能。
其他文献
随着现代科学技术的不断发展,智能手机以及其他移动设备正变得越来越普及,越来越多的用户开始使用移动设备办公以及存储和处理机密与敏感数据,但是手机等移动设备在给人们生
<正>2007年1月,中兴通讯正式实施股权激励计划,3000多名员工受益。2007年2月,全球最大的移动通信运营商英国沃达丰(Vodafone)与中兴通讯正式签署合作协议提供VDF品牌标准的手
<正>M美丽的心灵也许 是每一个人都向 往的境界。但什么 样的心灵才是美 丽的心灵?在不同的层面、不 同的角度和不同的人心中,也 许会有不完全一样的认定。 1994年,约翰·纳
期刊
明王朝主导的朝贡体制和海禁政策,在很大程度上形塑了当时东亚各国间的政治、经济交往形态,同时引起此区域内信息传递方式的变化。留存在日本室町时代禅僧日记中的中国信息,
建筑遮阳是建筑节能减排技术中一类关键技术,在构建以低碳排放为特征的建筑体系中占据着越来越重要的地位。公共建筑节能设计标准以及采暖地区、夏热冬冷地区和夏热冬暖地区
目的研究秦艽及秦艽不同配伍对炎症早期实验性渗出、肿胀的影响。方法将小鼠随机分为空白组、阳性对照组、单味秦艽组、秦艽配伍威灵仙组、秦艽配伍制川乌组、秦艽配伍桑寄生
社会主义核心价值体系是社会主义意识形态的本质体现。党的十八大报告强调,“倡导富强、民主、文明、和谐,倡导自由、平等、公正、法治,倡导爱国、敬业、诚信、友善,积极培育和践
随着经济的发展和人民生活水平的提高,休闲商业不断地发展壮大,休闲商业街区也就应运而生。作为与经济发展、消费需求相适应的新兴商业模式,休闲商业街区已经成为了我国新兴商业
20世纪后期以来,信息技术迅猛发展,在以互联网为代表的新技术影响下,经济环境发生了新变化,而且还在持续不断的变化着,我们的社会进入了以信息技术和知识经济为特征的新时代。在以
没收违法所得特别程序是指在贪污贿赂犯罪、恐怖活动犯罪等重大犯罪案件中,犯罪嫌疑人、被告人死亡、逃匿的情况下,经人民检察院向法院申请,依照法定程序没收其违法所得及其他涉