面向InfluxDB时序数据库的并行查询优化

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:NK123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网技术的发展,大量传感器设备接入互联网中,这些物联网设备采集的海量时序数据对于生产设备的故障预警和运行状态分析起着关键的作用。时序数据库作为专为时序数据优化的数据库管理系统,能够高效应对时间序列数据的查询分析任务。然而,在大型的物联网系统中通常会产生高维度的时序数据。例如,在电力系统中,输电线路和发电厂的监控设备每天将产生大量的时间序列,每秒钟也会产生大批量的数据点,并且随着业务的扩张,时间序列的数量也呈现逐年递增的趋势。现有的时序数据库在应对海量时间序列的分析型查询任务时,存在着查询时延高、不能提供实时的时序数据查询分析能力的缺陷,使得时序数据库不能很好的服务于低时延的业务需求。例如,在电力系统的监控服务中,需要及时对大量时间序列进行复杂的函数计算来及时发现运行状态异常的设备。为了解决时序数据库在海量时间序列分析查询场景下时延高的问题,本文基于InfluxDB重新设计了时序数据库的查询引擎,设计并实现了并行时序数据库查询引擎InfluxDB-PP(Parallel Processing)。InfluxDB-PP通过其并行执行框架提升了大批量时间序列数据查询处理的并行能力,通过充分利用系统的计算资源,使得不同时间序列的数据能够并行处理。此外,时序数据库作为一个用来分析时序数据的数据库系统,常会涉及大量的表达式计算。因此,为了消除传统数据库表达式计算中大量函数调用带来的开销,InfluxDB-PP也设计并实现了表达式查询编译。本文的主要贡献如下:(1)基于InfluxDB设计并实现了并行执行引擎InfluxDB-PP。InfluxDB-PP整体设计并实现了流水线查询处理方式,在其并行执行框架中,每个查询算子拥有多个实例。为了均衡各个算子实例的工作负载,在查询执行前通过多数据源数据调度器将不同时间序列调度到不同的算子实例中,利用多核处理器的优势并行处理不同的时间序列数据。此外,为了提高时序场景下常见的窗口聚合类型查询的执行效率,InfluxDB-PP也细化了算子间数据传输的粒度,通过设计批次数据块的数据处理策略提高时序数据的处理效率。(2)在InfluxDB-PP中设计并实现了表达式查询编译。为了解决时序场景下大量表达式计算带来的函数调用问题,本文在时序数据库中首次尝试了表达式查询编译技术,通过设计并实现表达式算子的查询编译接口,在查询执行前利用动态编译技术将表达式编译为紧凑的代码片段,算子在执行时通过调用相应的代码片段来达到消除大量函数调用的目的。(3)搭建了一套以电力系统为场景的监控系统。以电力数据为场景,本文搭建了一套以InfluxDB-PP为核心的监控系统,监控系统主要由三部分组成:ETL组件、InfluxDB-PP和用户界面。本文基于上述技术,设计了InfluxDB-PP,利用模拟的电力数据与开源InfluxDB进行对比,验证了上述方法在海量时间序列分析查询场景下的有效性。
其他文献
基于对世界工业设计领域两部分来自于英国与美国极具代表性的期刊文献研究工作,《世界工业设计研究发展论述》一书于2021年11月正式出版。这本书关注的是工业设计领域的“研究”发展,是此前在这一领域较少正式讨论的一个议题,其实际应用价值在于对设计理论的呈现、比对以及搭载。在这一研究工作结束之际,通过进一步反思,将一些新发现的问题作一阐述,主要包括设计领域的创新问题、研究方法问题以及关于“元设计”的思考。
作为石英砂行业副产物,污染物的处理与周边环境的保护工作涉及到的因素众多,污染治理过程也较为复杂。文章针对石英砂选矿行业的作业特征与发展特点展开讨论,分析了其现阶段对环境的具体影响,同时详细论述了如何进行石英砂选矿行业的环保治理工作。
针对高砷、高银铅锌矿石的降砷问题开展了研究工作。研制出特效抑砷药剂SSO.获得了含砷符合冶炼厂要求的高品位各种单独精矿。较现场多年使用的漂白粉法的指标有大幅度的提高。SSO无毒无污染、价廉易得、使用方便,为利用高砷矿石资源提供了一个新方法,已在生产上应用半年多.方法可靠、指标稳定、效益显著。
我国有56个民族,在每一个民族中都有它自己的传统歌曲,这些歌曲以自然坦率的歌唱方式,以口头相传,一传十十传百,一代传一代的传承至今,使人们在欣赏聆听中感受到民歌传达的纯朴生活与真挚情感。我国传统民歌的内容丰富、种类繁多,而四川传统民歌是众多民族民间传统歌曲中的一个重要组成部分,在我国民歌中占据非常重要的地位,歌曲中展现出来的艺术特征也具有重要的研究价值。为了更好地传承和发扬四川传统民歌,本文主要详
“学业手册”是法国教育部为了加强义务教育质量监测,长期追踪和记录学生的学业表现,以《个人能力手册》为蓝本设计制作的学生学业评价操作指南,由定期报告、阶段末报告和必修证书三部分组成。“学业手册”以激励学生进步为目的,是教育部门依托国家统一的数字平台,与学校、家庭共享学生发展信息,对义务教育阶段学生学业进行全方位、全过程评价。我国学生学业评价应致力于设计制作教学评一体化的学生学业评价工具;建立统一、连
系统跟踪王春雨2010—2021年的训练和比赛,积累其在平时训练、一般比赛、阶段提高、重大突破等重要节点的速度节奏参数指标,总结其中的规律和特征。认为:速度节奏逐渐合理是王春雨东京奥运会获得重大突破的关键因素之一;王春雨成绩较好的比赛不是在一个点上的突然加速,而是全程多个点上速度平均增加,整体速度节奏波动较小。建议:王春雨大赛中采用“一马当先,抢占有利位置”的战术;建立100 m分段速度节奏模型,
在经济和技术快速发展的今天,电商平台的年交易额越来越大。大量交易从线下转到了线上,竞争日益加剧。而一个电商平台的成功与否,不只在于产品的种类和价格,还在于为中小微企业提供的发展环境。然而由于中小微企业各项制度不健全,它们难以获得融资,即使获得了融资,时间和利息成本也较高,一旦资金周转不开,就面临着破产的困境,尤其是受到疫情冲击的当下。电商企业如阿里巴巴、京东和苏宁等,无一例外都在探索帮中小微企业解
背景:创伤性关节炎是骨关节炎最常见的形式之一,体内外研究显示,淫羊藿苷能通过多靶点、多途径、多通路对骨关节炎起到治疗作用,并且无明显不良反应,但淫羊藿苷对创伤性关节炎的镇痛效果及作用机制尚未见报道。目的:探讨淫羊藿苷对大鼠膝创伤性关节炎的镇痛效果及机制。方法:30只雄性SD大鼠随机分为假手术组、模型组和淫羊藿苷组,每组10只。后两组切断大鼠右膝前交叉韧带造模,假手术组仅切开右膝关节囊。造模结束后,
分析我国女子优秀800 m跑运动员王春雨东京奥运会比赛表现及分段成绩,阐释其取得成绩突破的主要原因,探讨800 m运动的比赛节奏和科学训练思想,为我国800 m运动员科学、系统、高效训练提供参考。
"枫桥经验"于上世纪六十年代诞生于浙江省诸暨市,而党的十八届三中全会提出:"全面深化改革的总目标是完善和发展中国特色社会主义制度,推进国家治理体系和治理能力现代化。"我国的不断发展对新时代中国的治理体系提出了新的要求,"枫桥经验"则为此提供了可参考的指导方向。由于我国国情的特殊性,基层社会治理的作用和地位在治理体系中十分重要,是当下急需讨论研究的重要事情,国家治理体系和治理能力现代化如果想实现有质