基于Hadoop的海量日志数据准实时查询系统的设计与实现

来源 :兰州大学 | 被引量 : 1次 | 上传用户:jjx2777
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术的发展,我们已经步入了一个信息爆炸的时代,同时,全世界产生的数据也以几何级的比例快速增长,人类已全面进入了大数据的时代。全球各个行业的企业也迅速认识到了数据的重要性,数据被各个企业纳入到了资产的范畴,产生了数据资产的概念,数据资产已成为企业的核心竞争力。如何围绕企业的大数据信息,构建低成本、高效率的大数据生态系统,成为了各个企业的重要任务。本文旨在以电信运营商运营域数据之一的用户手机上网日志为切入点,构建了一个大数据分析的原型系统,原型系统基于Hadoop的海量日志数据准实时查询系统的架构进行设计,并对主要模块进行了实现和验证。其设计原则是建设高性能的、完善的、开放的平台。针对系统功能及应用特点,对涉及到的相关技术,如HDFS、MapReduce、Hbase等Hadoop生态圈的原理和特性,本文也详细研究和探讨。根据系统实现情况及最终测试验证结果,表明采用Hadoop生态圈技术能够很好的支撑大数据分析平台的建设,完成从数据采集、分析处理至最终应用展现的全流程支撑。本文设计实现的基于Hadoop的海量日志数据准实时查询系统具有一定的实用性,较强的系统通用性和扩展性。
其他文献
1938年六七月间,以宋时轮为司令员、邓华为政委的四纵队到达平谷地区,解放了平谷县城,建立了平谷县第一届抗日民主政府。1940年4月,建立冀东西部第一个联合县蓟(县)平(谷)密(
2020年,习近平总书记视察长春长山花园社区和长春社区干部学院时指出:"推进国家治理体系和治理能力现代化,社区治理只能加强,不能削弱。"社区作为国家治理的基本单元,是实现
一直以来我国的经济增长都是以大量的资源投入为驱动,但是在中国经济腾飞的同时,国内劳动力成本不断上升,经济增速放缓,以前的经济增长模式已经不适用于当下的中国国情了。企业的创新活动既是企业提高市场竞争强度力的重要手段之一,同时也是我国改变粗放式经济增长模式的突破口。但企业的研发产品具有公共物品的属性,所以企业的创新意愿较低,而政府补贴恰好可以在一定程度上解决公共物品的外溢效应。对于市场而言,市场作为一
习近平总书记在中央财经委员会第五次会议上指出,要增强中心城市和城市群等经济发展优势区域的经济和人口承载能力,推动形成优势互补高质量发展的区域经济布局。在中央财经委
学史崇德,就是要从百年党史中汲取思想道德营养,大力崇尚对党忠诚的政治品德、为民造福的社会公德、严于律己的个人道德、家和业兴的家庭美德。历史是照亮现实和未来的一面镜
物业是服务城市居民最近的地方,直接关系着千家万户。通化市委深入贯彻落实中央、省委关于加强基层治理的部署要求,深化开展"红色领航新发展行动",全力实施"红色物业"工程,全
时光飞逝,我已渡过了二十二年的教师生涯。回想自己成为一名人民教师的成长历程,有许多的感慨。回首二十二年,是点点滴滴教学经验积累的二十二年,是我人生道路上充满希望与收
会议
"将者,智、信、仁、勇、严也"。(语见《孙子兵法·计篇》意思是,作为将领,要智谋高超,赏罚有信,爱护士卒,勇敢坚定,明法审令。这是孙武在重德的前提下,集中提出的将领修养的
在新中国第一个甲级体育场大田湾体育场的保护与利用工程施工现场,有一块展板格外显眼。与其他展板不同,这块展板公示有重庆市城市建设投资(集团)有限公司派驻项目现场的9名"
按照河北省委统一部署,省政协党组认真学习贯彻习近平总书记在党史学习教育动员大会上的重要讲话精神,准确把握中央要求,突出学习重点,体现特色优势,推动学习教育有力有序有