基于关系数据库和map/reduce的综合查询系统设计与实现

被引量 : 0次 | 上传用户:suals
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代已经来临,在大数据时代,我们所面临的问题不仅包括数据量相当大,还包括对数据的深度分析,以及数据格式的多样性。传统的关系型数据库虽然已经发展多年,有很多优化技术,其功能和表达能力不断增强。但根据CAP(一致性、可用性、容错性)理论,这三者只能同时满足其中两个,而传统关系型数据库追求高的一致性和容错性,也就丧失了可用性。MapReduce是一种编程模型,设计之初就是用于大规模数据集的并行运算。集群系统具有良好的性价比和可伸缩性,这也使MapReduce成为大规模海量数据平台的首选原因之一。以上正好解决了数据分析所面临的趋势和挑战。而且,Mapreduce模型简单、易于理解、易于使用。Hadoop是MapReduce的开源实现,Hadoop平台上有自己的Hive,所以可以很容易的将基于关系型数据库的系统移植到Hadoop中。本文首先做了一个基于关系型数据库的查询系统,考虑到以后数据量会很大,所以将该系统移植到Hadoop平台上。然后对这两个系统进行实验比较,从实验结果更加深入的了解Hadoop平台。最后,提出了一些改进Hadoop平台上查询系统的方法。
其他文献
分数应用题中的数量关系都较为抽象,中、低年级学生难以理解,所以分数应用题的教学被编排在人教版教材第十一册(六年级上)。本文就小学数学分数应用题教学实践所引发的思考,
目的:研究心外膜脂肪厚度和体重指数与冠心病之间的关系,为冠心病的预防、预测、治疗及康复提供新的临床参考指标。方法:本研究共纳入170例冠心病患者和89例非冠心病患者,收集
产业发展是区域经济社会进步的基础,尤其是经济欠发达地区着力培育主导产业是推动该地区社会整体发展的有效途径。根据发达地区区域经济发展路径选择和成功模式,依托优势资源发
以2001—2016年中国城市面板数据为样本,测算了制造业与生产性服务业的协同度,并基于系统GMM 分析了产业协同发展对全要素生产率的影响。结果表明:产业协同度呈现上升态势,但
通过对 6种农药防治果树蚧壳虫的试验比较 ,以水胺硫磷与万灵的混合液效果为最好 ,5°B石硫合剂次之 ,校正防治效果分别为 90 .6 %、84 .4 %。
20%百草枯水剂除草结果表明:百草枯对禾本科杂草和落叶性杂草效果明显,而且作用迅速,防除效果高,全部为90%左右,施药1天就可见明显症状,5天就可造成植株叶片枯死。
进出口货物的转关运输,是海关为适应对外开放,促进和服务对外贸易发展的具体体现,对于加速口岸进出口货物的疏运,改善内地投资环境,方便收发货人办理海关手续,节省企业开支都
牛顿运动定律是整个动力学的基础,它们既有相互独立的一面又有整体的一致性。从运动学和力学的角度讨论牛顿运动定律各自的含义、研究对象和范围以及在物理学中所起的作用和
<正>新课程理念强调提高学生的生物科学素养、倡导探究性学习,注重与现实生活的联系,期望学生获得科学家思考问题的方式、探索方法,期望学生获得知识和能力,在动手、动脑中对
<正> 先民们在与大自然进行的长期搏斗中,逐渐认识到水利是农业的命脉,先后创造发明桔槔(ji(?)g(?)o,洁高)、戽(h(?),户)斗、辘轳(l(?)l(?)鹿卢)、翻车、筒车等提水灌溉工具,