Hadoop大数据平台与传统数据仓库的协作研究

被引量 : 73次 | 上传用户:kxlzyc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Hadoop技术的发展,从最初为Google、Facebook等公司解决海量数据的存储问题,到现在被越来越多企业用来处理大数据,企业已经建设好的传统数据仓库地位受到了挑战。本文重点研究Hadoop与传统数据仓库(如无特殊说明,本文提及的传统数据仓库皆指单节点的关系型数据仓库)如何进行协作、分工,进行数据采集、传输、存储、处理等工作。在已有传统数据仓库的基础上提供Hadoop的支持,弥补传统数据仓库在海量数据处理、存储等方面的不足,也可以依靠Hadoop的横向扩展能力突破单节点的传统数据仓库在存储和计算能力上的瓶颈。本文根据现今传统数据仓库的应用情况及Hadoop大数据平台的前景预测,针对传统数据仓库已无法满足大多数用户需求的问题,提出了Hadoop与传统数据仓库协作的新架构后,重点针对Hadoop与传统数据仓库之间协作的可行性进行研究。新架构源于Cloudera和Teradata的工程师们提出的Hadoop与传统数据仓库协作的设想方案,本文将新构架分为三大模块:数据采集、数据存储和数据应用,主要考虑结构化与非结构化数据的采集、存储和应用问题,研究Hadoop与传统数据仓库在数据存储和数据应用方面的协作可行性。针对数据采集和传输问题,本文采用Apache的Sqoop技术解决;而数据存储问题则依靠Hadoop集群的HDFS文件系统和Hive数据仓库,同时也介绍了在Hive中的数据应用,最后通过原型系统验证了所设计架构的可行性。本文基于现今企业对大数据平台的需求,同时也考虑到企业已有传统数据仓库的重用,研究其两者之间的协作关系,最终实现了系统原型为企业的实际应用提供指导。
其他文献
常见的三种社区治理模式本质都是"决策——执行"模式,创建的依然是行政组织,而无法解决社区自组织的问题。建立针对个体需求的治理机制是治理体系现代化的指标之一、参与民主与
2005年我国小额贷款公司试点工作首先在山西、贵州、四川、陕西、四川和内蒙古地区开展,从这以后小额贷款公司迅速发展。小额贷款公司有效地解决了中小企业以及个体工商户的资
本文主要针对分层教学法在中职电工技能实训课的应用为重点进行分析,结合当下中职院校电工技能实训运用分层教学的重要性为依据,从中职电工的分层教学的策略分析、分层教学的
随着改革开放的不断深入和社会主义市场经济的逐步完善,分配方式也发生了重大变化,由过去的按劳分配为主发展成为按劳分配与按生产要素分配相结合的分配方式。分配方式的变化导
2013年,对于国内黄金市场是关键的一年,国泰黄金ETF正式进场发行,标志着中国黄金市场推出了自己的黄金ETF产品。而黄金ETF自2003年上市来,经过十年的发展,已经成为国际黄金市场上
2002年,我国证监会联合国家经贸委颁布了《上市公司治理准则》,并且在该准则中明确要求上市公司应当在董事会下设立多个不同性质的专门委员会,并且对各个专门委员会的主要职责
互联网产品设计的最终目的是为用户提供愉悦的使用体验。文章通过分析心流体验的特征及产生条件,总结出基于心流理论互联网产品的设计方法。该方法从为用户创造进入心流状态
德育是照亮学校工作一切方面的光源,“德育为首,育人教书”是学校教育工作的核心。德才兼备,是我们对人的基本要求。同样对学生的教育达到品学兼优,这才是成功的教育。而当前
亭是中国古代常见的建筑之一,从亭建筑到文学意象是一种文学升华和文化趣味的依附过程。亭意象的历史形成与演变过程与亭建筑史有着密切的关联,二者统一在民族文化的发展变迁
元话语在以往的研究中被认为是与命题无关的话语,研究局限于修辞谋篇布局,读者意识等方面。元话语作为一种交互手段体现作者的态度、评价,构建与读者的关系,在这背后必然存在