基于云平台的多维数据分析的研究与应用

来源 :北京邮电大学 | 被引量 : 4次 | 上传用户:vacer2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现今不断发展的信息化社会中,企业产生了海量的数据资料。怎样利用和分析这些数据,使得决策人员能够以更简单易懂的方式看到查询结果和数据,为企业提供有利的决策信息,成为企业关注的问题。数据仓库和联机分析处理是现在企业进行数据分析使用的一种方式。目前市场上大多数的OLAP展示工具都需要安装庞大的客户端来支持各种报表的功能,并且价格昂贵,不为多数企业所选用;而对于开源的OLAP展示工具,大部分只能提供简单的分析操作,不具备完整的报表工具,而且多采用关系型数据库存储数据,对数据的结构性要求很好,同时缺少扩展性、伸缩性和对海量数据的处理能力,在企业数据爆炸式增长的情况下不能满足企业数据分析的要求。云平台的出现,为处理海量数据提供了新的出路。云平台具有处理海量信息的能力,结合这一特点进行研究和分析,将多维数据分析系统架构在云平台上,使用云平台的强大的计算、存储能力以及高可靠性、高扩展性的优势,使用Hive数据仓库处理和分析数据,将结果返回到展示层,然后使用JPivot、ExtJS等相关技术对结果进行处理,形成简洁友好的报表展示。本文首先分析了OLAP系统在国内外发展的现状,确定了本文以云平台的Hive数据仓库和关系型数据相结合的角度进行分析和研究实现,然后介绍了联机分析处理(OLAP)、Hadoop平台、Hive与关系型数据库转换工具、前台显示技术Jpivot等相关技术,然后进行了云平台上多维数据分析系统的架构设计,分别从关系型数据库部分和Hive数据仓库与关系数据库同步的方面进行系统的详细设计和实现。本系统前台采用ExJS框架、后台采用关系型数据库和Hive数据仓库结合的形式对多维数据分析进行支持,完成了整个系统的编码工作,最后进行测试。该系统完成了关系型数据库和Hive数据仓库之间数据的同步,完成了报表设计,存储和展示等的功能,同时实现了多维数据的钻取、上卷、切片、切块、旋转等的OLAP操作。在论文的最后,对工作进行了总结和展望。
其他文献
在计算机技术发展速度突飞猛进的大背景下,当前计算机技术呈现出了网络化、多极化、智能化和多媒体化四个特点。本文就当前计算机技术发展的特点和未来计算机技术的发展趋势
本文选取我园22名1-5年教龄的职初教师为研究样本,通过专题访谈与日常观察,发现她们普遍面临着知识经验匮乏、能力欠缺,工作压力大而心理准备不足等问题,其中教学行为和班级管理
《小学音乐课程新标准》颁布多年,作为国家教育主管部门的教育部,对基础音乐教育的改革特别重视,也花了大量的人力、物力和财力进行研讨,取得了一定的成效,但也存在不少遗憾
酒店培训对于提升酒店的综合竞争力有着非常重要的意义,本文针对国内酒店开展培训过程中存在的主要问题,提出建立科学的酒店培训体系需要从培训领导小组、培训导师聘任制度、
民歌是镶嵌在一个民族传统文化外观上的一束光环,是一个民族传统文化的重要标志与象征。本文对民歌的起源、众说纷纭的各种学说,以及她所产生的文化生态环境等进行了较为深入
加强中高职课程衔接研究,提高职业教育的教学质量,已是我国职业教育的一项改革的重要任务。本文通过分析中高职英语课程衔接现状的基础上,就教学目标衔接、课程评价衔接、分
通过文献查阅与资源调查 ,对滇黄精的开发进行可行性论证和阐述。结果显示 ,滇黄精的药用价值极高 ,具有多种药理作用和重要的临床应用价值。滇黄精资源十分丰富 ,开发利用前
《管子》一书是先秦管仲学派学者对齐国管仲思想的详细阐述和发挥。本文主要从政治伦理的角度,理论联系实际,试图通过对《管子》这部书的思索、解读,探讨《管子》的政治伦理
文章介绍了通信蓄电池远程监控充放电系统组成,针对通信电源系统中蓄电池放电维护工作量大的问题,提出了采用电池远程自动充放电技术,阐述了电池远程自动充放电系统的充放电
电子护具开始在伦敦奥运会使用后,其对于竞技跆拳道运动员在比赛中的技战术产生了很大的影响,我国竞技跆拳道的训练也与时俱进,自2008年全国冠军赛首次使用电子护具,一直延续