面向云环境的大数据迁移和部署研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:ohngahng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,数据已经悄然地影响着我们的生活、工作和学习,诸如:社交网络、移动客户端的应用、可穿戴设备等所产生的数据,其产生规模向TB量级甚至PB量级的趋势递增。云计算技术,作为一种新型综合技术,为信息时代发展提供无限创造价值的空间。目前,政府、企业的软件和数据向云计算环境的迁移、部署和运行也属当前国家信息化建设的重大需求之一。本文通过结合云计算和大数据相关技术,研究面向云环境的大数据迁移和部署。首先,本文在绪论部分主要阐述云计算、大数据以及数据迁移的研究和发展现状。接着在本文的第二章中深入分析云计算、大数据相关的基本理论和关键技术。在本文的第三章中详述基于Hadoop数据迁移和部署的架构设计,并深入分析数据迁移中数据划分模块。通过在第三章中对基于Hadoop数据迁移过程中关键问题的深入分析,如:split-by取值、num-mappers取值等,以此为线索在本文的第四章设计了具体测试实验用例,并进行反复多次的实验。本文的第五章深入分析实验结果并进行相应的总结,通过观察分析实验结果,一方面发现在数据迁移过程中map任务数(num-mappers值)并不是越大越好,另一方面发现不同数据类型的数据划分对数据迁移效率和性能也会造成一定的影响。最后,对本文进行总结并对今后的工作进行规划。总之,本文主要聚焦于传统关系型数据库(RDBMS)与云环境之间数据迁移的性能问题。本文数据迁移模块设计主要是基于Hadoop云环境平台,并针对数据迁移工具Sqoop的性能进行多维度的测试。通过大量实验的测试和验证,基于Hadoop云环境平台的数据迁移在某些特性上的研究是值得深入的。本文希望通过充分利用传统的数据技术和新型的大数据处理技术,提供数据分析和处理更优性能和更好效率。
其他文献
中石化洛阳分公司220×10^4t/a蜡油加氢处理装置是油品升级重点项目。其中延长催化剂使用寿命是蜡油加氢装置现阶段运行的核心问题,催化剂活性直接影响到蜡油加氢装置的
美国专业学位的发展历程是一个不断总结、不断借鉴、不断创新的历程。本文选取了哲学领域的量变质变规律作为立足点,通过系统分析美国专业学位发达的原因,从而对我国将要大规
目的观察分析在治疗烧伤创面愈后色素沉着患者时应用强脉冲光的临床效果。方法选取2015年1月~2017年1月在我院接受门诊或住院治疗的烧伤创面愈合后色素沉着患者43例,应用强脉
由《挟尸要价》引起的关于真实性的争议已经尘埃落定,然而在那组获奖作品中牵涉到的人文精神却是众说纷纭,难以下结论。本文试图分析当前灾难性新闻报道中人文精神缺失的原因
村镇污水的排放特征差异很大,对污水处理技术的要求也不尽相同,因此,迫切需要出台有关村镇污水排放标准及监管政策,完善村镇污水处理设施建设标准,根据各地区特点,综合考虑经
传统的利用LCR表测量开关电源中变压器原、副边绕组间结构电容参数的方法不能有效反映线圈绕组电位分布以及屏蔽层对共模噪声传输的影响。根据电磁场理论详细分析了变压器原
反激变换器功率场效应管开通瞬间存在较大的电流尖峰,不仅产生电磁干扰,增加开关管的电流应力,而且当采用峰值电流控制方式时,可能导致开关管误动作。通过建立包括电路和变压
<正>创新,是一种能力,也是一本刊物赖以生存的根本所在。在强手如林的期刊市场,刊物创新能力的高低,直接决定刊物的生存状态。《作文通讯》作为全国首家中学生作文杂志,从198
作为一部英雄传奇和反映农民起义的白话长篇小说,《水浒传》成功地适应了中国百姓的审美趣味,使“粗卤”一词在该小说语境中形成了独特的语言修辞和人物塑造的审美效果——正
国民休闲时代、大旅游时代、高铁时代、文化时代和区域一体化时代的时代背景下,传统景区人满为患,旅游需求发生显著变化,旅游业供给侧改革势在必行。旅游业供给侧改革是在旅