基于HBase的交通流数据实时存储系统的设计与实现

被引量 : 8次 | 上传用户:BING_YAN3414
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据处理等技术的快速发展,现代城市智能交通系统也出现了许多新的发展机遇。目前各大城市都建立了专用车辆数据采集网络,所采集的数据逐渐形成了极具价值的大规模交通流数据。上述交通数据具有种类多,速率快,总量大的特点,使用关系型数据库存储这些交通数据时存在写入延迟高、水平扩展能力差等问题。以HBase为代表的NoSQL类数据库由于采用了简单数据模型,相对于关系数据库,具有存储速度快,扩展性高、存储容量大等特点,非常适合作为交通数据的存储介质。但是NoSQL数据库在实际运用过程中,还存在一些问题。就HBase而言:(1)对于行键具有连续性递增或者递减特质的流数据,数据写入时会形成降低写入性能的写入热点。此外HBase写入过程中的参数设置也会对数据库的写入性能产生较大影响。(2)HBase集群支持动态扩展,但现有工作基本都采用手动扩展方式,对自动动态扩展支持不足。(3)未提供标准SQL语句的查询接口支持。为此本文设计并实现了一种基于HBASE的交通流数据实时存储系统DeCloud-RealBase,主要研究工作如下:1、为提升交通流数据的实时写入能力,设计多级缓冲、多线程、预分区、行键结构等写入优化策略。此外还实现了非实时的已存在的历史流数据向HBase集群数据库的迁移。2、在集群扩展方面,摒弃了传统手动扩展Hadoop集群和HBase集群的方法,通过shell脚本实现了HBase集群地动态伸缩。一方面加快了集群扩展的速度,另一方面节省了用户时间,也避免了复杂的集群部署所带来的配置失误问题。3、使用开源的SQL解析器GSQLParser对标准的SQL语句进行语句和语义的解析,然后将其转化为HBase查询语言,并结合HBase的协处理器Coprocessors实现了标准的SQL语句在HBase数据库中地查询。4、最后对本系统进行了实验验证。实验结果表明,本文系统在大部分情况下拥有良好的扩展、存储和查询性能,可以满足实际需要。
其他文献
对近三年淫羊藿药理作用的新进展进行总结,归纳了淫羊藿在生殖系统、骨组织、心血管、肿瘤、免疫力、记忆力和哮喘等方面的作用,以期对淫羊藿的进一步开发利用提供参考。
大学生的人际关系问题一直是发展心理学和高校心理学研究中比较活跃和备受人关注的一个领域,也是具有重要实践意义的一个研究课题。根据近年来该领域的研究的一些成果和动态,
研制一种大肠杆菌O157:H7量子点免疫层析试纸。利用自制水溶性量子点静电偶联大肠杆菌O157:H7单克隆抗体,将大肠杆菌O157:H7单克隆抗体和羊抗兔二抗划线于硝酸纤维素膜分别作
<正>在采访中,不少警犬技术业内人士表示,可以用四个字来形容警犬技术尤其是一线带犬民警的工作:苦、累、险、脏。
期刊
夏尔.波德莱尔(Charles Baudelaire 1821-1861)是法国十九世纪最著名的现代派诗人,象征派诗歌先驱。他的诗集《恶之花》以独特的魅力冲击着人们传统的审美价值,并开一代新诗
目前中学生文言文学习的状况是教学改革中不容忽视的一个问题。本文对中学生文言文学习情况进行了调查问卷,旨在对文言文的教学改革提供参考。
随着我国社会经济的高速发展,企业面临的各种竞争愈演愈烈,人力资本作为一种特有的竞争也凸显出来,如何培养一支高素质的员工队伍?在人力资源保障方面,如何为提升企业核心竞
通过钢丝热处理和拉拔工艺试验,对产品性能进行检验,分析中碳钢丝热处理工艺和拉拔工艺对其性能的影响,特别是压缩率对其抗拉强度及扭转值的影响,从而进行热处理和拉拔工艺的
本文基于对105个国家级高新园区的统计数据,运用因子分析法、加权最小二乘回归和阶层式回归法,实证分析了国家高新区创新对区域经济增长的影响以及产业集聚对创新影响区域经
商业街是推进城市建设和经济发展的重要载体,但当前对商业街发展的理论指导尚不充分,特别是从指标评价的角度来解析商业街科学发展道路的研究仍有待深入。本文首先梳理了目前