基于Phoenix的时空轨迹数据存储与查询技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:accpaccp1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前随着通信网络技术的飞速发展以及便携式移动设备的广泛普及,海量用户数据随之产生,时空轨迹数据属于其中具有广泛应用价值的一类数据。如何有效地组织利用该类数据,是当前学术界与工业界共同关注的热点问题。当前成熟的基于传统数据库的解决方案扩展能力有限,在面对海量数据存储处理的场景下难以很好地满足需求,并不适合对大规模数据集进行处理。但近年来工业界出现以Hadoop为代表的分布式计算平台,为解决该问题提供了新思路。Hadoop生态圈随着近年来的发展,已经拥有了众多组件。其中非关系型数据库HBase与Phoenix等组件相互补充使用,不仅满足了对海量数据的处理需求,还提供了对SQL语言的支持,但它们并未对时空轨迹数据的组织管理提供直接支持。基于上述问题,结合分布式平台的特点,本文研究了时空轨迹数据的存储与查询相关内容,设计并实现了基于Phoenix平台的轨迹数据存储与查询原型系统,本文称之为Traj Phoenix。本原型系统支持实时数据插入,同时也支持离线数据批量导入,并在系统内部实现了优化的时空范围查询、时间段KNN查询、最近轨迹查询等功能。原型系统支持SQL语句,对用户较为友好。本文所做主要工作内容如下:(1)本文研究了当前已有的基于分布式平台的时空轨迹数据管理方案,并根据数据特点结合Phoenix平台特性设计了数据存储模型并选择了适当的索引方式,为后续查询提供了底层支持。(2)本文使用了ST-Code编码作为时空索引结构,阐述并分析了ST-Code的编码特点以及在查询时出现的问题,提出了划分-合并策略与数据分布统计两种方式来优化ST-Code的时空查询效率。(3)根据提出的查询优化策略,在原型系统内部实现了时空范围查询、时间段KNN查询与最近轨迹查询,并结合数据统计结果与Phoenix UDF机制提出了具体的查询优化算法。(4)在实现原型系统时,考虑到高可用性与用户友好性等,系统实现了可扩展的数据导入工具、序列化工具等系统支撑功能。在本文最后,我们选用了真实的时空轨迹数据集,在实验环境下对原型系统进行了部署实验,测试了系统数据导入、查询等方面的性能表现,并与同类方案进行了对比分析。实验结果表明,本文提出的优化后的基于ST-Code的查询方式,在一定程度上要优于同类方案。
其他文献
工艺规划是机械产品从设计到制造过渡的桥梁,是整个生产过程中的重要环节。对工艺规划的研究能够有效提高产品质量、缩短开发周期、降低生产成本,对企业乃至整个制造业都具有十分重要的意义。虽然智能化工艺规划理论与技术已经得到长足发展,但是在实际生产制造中依然存在大量传统工艺设计方法,这些依赖于工艺人员经验水平的工艺过程并不能完全保证加工质量。因此,开展行星架工艺规划与加工误差分析研究具有重要意义。本文以行星
脑电信号(EEG)是一种产生于人脑神经细胞活动的电位,基于脑电的2D目标识别基本采用快速序列图像呈现范式(RSVP)或者怪球范式(Oddball),通过检测目标图像诱发的特异脑电成分P300来实现目标图像的快速检索,P300的波峰和潜伏期能够客观地反映出受试者对于刺激的接受、处理和反应等认知能力,因此脑电中的P300成分检测是目标识别的核心和关键问题。目前使用虚拟现实(VR)对脑电目标识别进行定量
拓扑绝缘体由于具有奇特的表面态和自旋电子学性质,引起了相关领域研究者的极大兴趣。这类材料其块体具有绝缘体性质但其表面呈金属态,并且其拓扑表面态由于受时间反演保护而不易被破坏。这种特殊的拓扑性质,在理论研究及实际应用中都极具研究价值。多年来,研究者们致力于寻找具有拓扑性质的新材料以及这类新材料的制备方法和对电学性质调控手段等的研究。Bi_2Te_3是最热门的拓扑绝缘体材料之一。该材料的块体态在室温下
表面粗糙度是机械领域中衡量加工表面质量的重要指标之一,在工程应用中如何提高其检测速度和精度一直是研究热点,从接触式检测方法发展到光学和图像学研究得到的非接触式检测方法,随着技术的进步,表面粗糙度的检测精度在进一步的提高。在实际生产应用中,产品的合格与否需达到技术要求值的范围以内,同时工件表面质量的检测对速度的要求更高。在此背景下,基于工件表面图像的粗糙度检测能够充分满足实际加工生产的需求,根据国家
上世纪八十年代,考古工作者在荒凉的察吾呼沟发现并发掘了五处原始氏族墓地,引起了学术界的极大关注。这些发现表明距今三千年前后,今天人迹罕至的山前沟谷,生活着一支现在被称为察吾呼人的原始氏族,他们在这里曾经历了一段热闹的岁月。在察吾呼沟口发掘的五处墓地中,四号墓地保存的最为完整,整个墓地未经后世自然或人为的破坏。考古工作者对这处墓地进行了全面系统的发掘。考古人类学的角度认为,原始墓地和墓葬是古人现实社
随着人们对生态环境的重视,全生物降解地膜被认为是取代传统地膜,解决“白色污染”的最佳选择,相关研究受到了广泛关注。其中以聚己二酸/对苯二甲酸丁二酯(PBAT)作为主要原材料制备全生物降解地膜的技术已日趋成熟,而该类地膜的功能化尚缺少研究。类水滑石(LDH)是一类具有层状结构的纳米粘土,可用作全生物降解树脂的补强剂,由于LDH的金属氢氧化物层板和层间阴离子具有多元可调变性,可以作为阴离子型药物的缓释
目的:探讨人尿液及血浆的中性粒细胞明胶酶相关脂质运载蛋白(NGAL)检测在肾细胞癌(RCC)患者筛查的可行性及临床意义。通过研究NGAL在不同肾细胞癌的表达,分析NGAL与肾细胞癌
随着科技的发展与进步,空间距离由于各种原因而一再缩小,而亲情的纽带似乎并不似以往那般紧密,我国几千年来代代相传的家谱在信息时代的冲刷下逐渐被年轻人们所淡忘甚至不被知晓。家谱不仅仅是一个家族的精神纽带,更是一份珍贵的回忆和一股坚定的力量。为使其能在当代依旧保持其旺盛的生命力与影响力,将新科技注入其中。经过深入的调查研究并在其结果上进行分析,最终将“家谱”与云平台和交互设计相结合,并将其扩展延伸,得到
玉簪(Hosta)是百合科玉簪属多年生的草本花卉,作为园林观赏植物和药用植物,应用极其普遍,过去玉簪多种植在我国江南地区,后被广泛引种栽培,现在在我国北方地区,玉簪已发展成为重要的耐阴露地花叶共赏型花卉。然而玉簪虽然栽培品种众多,但花色却很单一,只有白色和紫色两种花色,因此挖掘玉簪花色代谢基因,培育玉簪新花色品种尤为重要。形成植物花色的主要色素有甜菜碱、类胡萝卜色素、类黄酮,其中类黄酮是最广泛存在
全方位移动机器人具有平面运动的3个自由度,运动灵活性高,被广泛应用到狭窄拥挤环境中。但是由于全方位轮的特殊结构,运动过程中往往具有运动轨迹误差大,稳定性低等问题。针