基于Storm的连续范围查询优化技术的研究与实现

来源 :东北大学 | 被引量 : 0次 | 上传用户:shishuhu45
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多样的定位手段、用户终端及通讯方式的出现,潜在的移动数据源迅速增长,以基于位置服务为代表的移动应用已步入移动大数据时代。移动大数据环境下,传统基于位置服务(LocationBased Servive,LBS)技术面临来自系统扩展性、性能等方面的挑战。近几年随着云计算的持续火热,业界已经兴起了一股云计算的潮流,由于其灵活的扩展性、强大的处理能力、高可靠性,云计算已经成为解决大数据问题的有效方法。在此背景下,本文进行了深入的研究,主要工作包括两个部分,第一是针对LBS应用的特点,利用云计算技术设计一个高通量、可扩展的LBS系统框架。第二个是针对LBS中典型的应用——连续范围查询进行了优化。针对LBS系统框架的设计,本文首先分析新时期LBS相关应用的大规模、实时性、频繁更新等特点,确定了 LBS查询系统框架应具备的特性。然后根据LBS逻辑结构,结合LBS特点选取系统框架的各个部件。在消息队列方面,使用了分布式发布订阅系统Kafka。在查询处理方面,为了提高系统实时性、可靠性和扩展性,使用了实时流计算框架Twitter Storm。在数据存储方面,使用了分布式的、面向列的键值数据库HBase。最后提出了基于Twitter Storm的LBS查询框架,为大规模移动对象的存储、索引和查询提出了一种有效的解决方案。同时为了解决分布式集群环境中共享资源的一致性问题,本文使用了基于ZooKeeper的分布式锁服务,提高了系统框架的健壮性。此外,本文结合Twitter Storm的特点,提出了一个通用的、可扩展的LBS查询拓扑结构。本文对连续范围查询算法的优化技术的研究主要包括三个方面:1)设计实现了基于Twitter Storm的并行连续范围查询算法,本文结合基于Twitter Storm的LBS查询框架,设计并实现了基于Twitter Storm的连续并行范围查询算法,对传统单线程范围查询算法进行了并行化,提高了查询效率。2)设计实现了基于TimeCacheMap的缓存优化算法,针对基于Twitter Storm并行连续范围查询算法中存在访问数据库开销较大的问题,提出了基于TimeCacheMap的缓存优化算法,有效减少了访问数据库的开销,提高了查询的速度和效率。3)分片直传策略,针对LBS的某些应用场景中存在用户响应时间过长的问题,本文对查询结果的返回策略进行了相关的研究,并提出了分片直传的结果返回策略,有效减少了用户响应时间,提高了服务质量。
其他文献
我们乡有一所中学,二十二所小学。几年来,乡的教育事业有了较大的发展,取得了一些成绩。一、提高认识,大兴尊师重教之风我们乡地处桦甸县东部高寒山区,虽然资源丰富,满山是宝
目的:分析多层螺旋CT诊断肺局灶性磨玻璃密度结节的临床价值。方法:回顾性分析2015年11月—2017年11月我院收治的50例f GGO者临床资料,现按照患者最终疾病性质,将其分为观察
西部大开发和西藏跨越式发展目标可以说为在校的藏族大学生带来了许多发展的空间和机遇,但同时也带来了前所未有的挑战与压力,使藏族大学生内心冲突加剧,使他们的学习、生活
随着Internet的迅速普及,越来越多的企业内部网络要加入这个网络大家庭.上网后可以进行Internet浏览,收发电子邮件,建立一个企业的门户网站,更好地宣传企业的形象、产品和服
本文简要讨论了交换网络及在此基础上发展起来的VLAN技术,并介绍了其在北京大学医学部校园网建设与管理上的具有应用。
一、问题的提出近年来,随着小学领导班子的调整,我县小学校长在年龄结构、知识结构上都起了明显的变化,一大批优秀教师从教学第一线被选拔到领导岗位上.据1989年下半年调查初
目的总结改良McBride法联合第一跖骨基底外翻截骨治疗中重度踇外翻手术方法及疗效。方法对38例中重度踇外翻患者采用改良McBride法联合第一跖骨基底外翻截骨术式治疗,在一个
2016年1月1日,经过三次修订完成的《中华人民共和国种子法》正式颁布实施。新修订的种子法在总结过去15年实践的基础上,明确了农业行政主管部门的执法主体地位,赋予了农业行政主管部门种子管理的行政职能,县级农业行政主管理部门是贯彻实施《种子法》的基础力量,应及时掌握种业新动向,审时度势,顺应市场潮流,掌握市场变化,寻找适应市场管理,适应种业发展的工作方向和思路。  1 种业市场变化现状  1.1 品
<正>某饲养场的部分仔猪突然发病,体温升到40℃以上,精神萎靡,厌食,呕吐并伴有腹泻。次日,病猪的肌肉出现痉挛性收缩,鼻子偏向一侧,兴奋呈癫痫样或抽搐,气喘,叫声嘶哑。运动
期刊