基于GPU的时序数据并行压缩算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:akuan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着各种互联网服务和工业物联网的飞速发展,其生成的时序数据规模不断扩大,给时序数据的存储管理带来了巨大压力。在实际生产环境中,时间序列的数量连年成倍增长,传统数据库的磁盘吞吐率会逐渐成为其整体性能瓶颈,为了保证数据库系统的读写性能,使用内存缓存近期数据,搭配磁盘持久存储成了当前的主流应对方案。而随着数据量的持续增长,系统内存开销不断增加,集群需要频繁进行扩展,导致系统运行和维护成本也在持续增加。数据压缩作为一种节约存储开销的常用技术,虽然能够实现不错的压缩比或吞吐率,但为了优先保证数据库系统的读写性能,时序数据库通常会限制数据压缩过程,即无法支持时序数据的实时压缩和解压。为了解决上述不足,基于CUDA设计并实现了一种并行压缩通用框架GFPC(General Framework for Parallel Compression),能够利用GPU实现时序数据的并行压缩,加速数据的压缩和解压过程,并且GFPC与压缩算法之间高度解耦,能够适应多种压缩算法。其中GFPC架构主要可以分为数据划分模块、计算模块、数据合并模块共三个部分,分别负责数据块的分割、压缩和解压、合并等任务,并通过数据并行的方式来对时序数据的压缩和解压过程实现加速。此外,基于对时序数据中各个类型数值序列的数据特征分析结果,在GFPC架构上实现了多种时序数据无损压缩算法,相比于传统的压缩方案不论是压缩比还是吞吐率都有明显性能提升。实验结果表明,基于GFPC的时序数据压缩算法在GTX 1050上最多能将测试数据集压缩到原来的1/30,同时压缩和解压吞吐率能够维持在GB/s级别。相比于Gorilla压缩算法,压缩比提升最多可以达到50%以上,而压缩和解压的加速比平均能达到3.5倍。
其他文献
作为混合动力汽车(Hybrid electric vehicle,HEV)向纯电动汽车((Pure Electric vehicle,PEV)过渡的产品,可外接电网充电的插电式混合动力汽车(Plug-in hybrid electric vehicle,PHEV)装配更大容量的动力电池,兼具了HEV和PEV的优点,成为了目前新能源汽车研究的热点。作为PHEV的核心技术之一,能量管理控制策略直接影响
RV减速器被广泛应用于工业机器人、航空航天、武器装备等国家重点发展领域,其关键构件如摆线轮、行星架坐标孔的加工精度对RV减速器的性能具有至关重要的影响,从而间接影响精密机械装备的综合性能。然而国内RV减速器关键构件坐标孔的加工通常采用高精度坐标磨床、高精度镗磨一体化机床等进口设备,结构复杂、价格较高,制约着我国RV减速器的国产化进程与精密机械装备领域的发展,因此迫切需要对RV减速器关键构件坐标孔的
随着我国PPP项目的蓬勃发展,资产证券化作为新兴的融资渠道,在近几年里受到广泛关注。资产证券化可以有效改善PPP项目资金短缺困境,还能提高供热收费权等项目的资金周转效率,使得资产被有效盘活。但是在市场规模日趋变大的背景下,资产证券化风险进而显露出来。自2016年以来,已有40只资产证券化产品发生级别下调,这也为资产证券化市场可持续发展敲响了警钟,资产证券化的风险需要得到有效重视。在PPP项目资产证
近年来汽车行业发展迅速,也带动了冲压模具行业的发展。覆盖件模具作为生产汽车覆盖件的重要装备,重量大且工作型面复杂,在实际工况中需要承受复杂的交变应力,对模具的各项性能指标要求较高,模具材料价格昂贵,导致模具制造成本大幅度提高,因此开展降低模具制造成本相关的研究至关重要。本文以汽车后背门内板为研究对象,针对降低后背门内板冲压模具制造成本的几个关键技术问题展开了研究:工艺参数优化、回弹补偿策略和采用增
当旅游发展到一定的程度,旅游活动的开展都会直接或间接地影响到区域风景营构,甚至影响当地风景格局的变化。研究旅游蓬发下的宋代城市风景开发与建设对继承和保留原乡风景、理解传统旅游城市风景内生机制有重要意义。桂林府作为岭南及西南地区最具代表性的旅游城市之一,其宋代风景游赏更是带动风景建设大兴盛、大蓬发,在中国古代旅游史、城建史上,极具典型性和代表性。本研究以宋代桂林城为例,基于石刻题名中旅游者、旅游目的
改革开放后,中国经济高速发展,城市用地规模扩张,在建国后计划经济时期缺乏科学规划而建设的大量工业区域中,因城市职能或产业结构调整而失去生产功能的工业建筑之间产生了“去”与“留”的矛盾;随着国务院对土地集约节约利用进行号召,各地政府均出台文件鼓励对于废弃的旧工业建筑再利用;与此同时,随着我国迈入经济新常态,更加注重存量更新这一发展方向,对于废弃的旧工业建筑进行改造再利用不但可以满足城市更新存量发展,
信息技术的发展以及智能手机的广泛使用给人们工作生活提供了极大的便利,手机应用变丰富的同时,网络流量也变得复杂和多样化。如何在安卓智能手机的具体应用场景上做出相应优化以满足用户需求,是一个值得深入研究的问题,而实现网络优化的前提是对网络中的数据流量进行分类和识别。传统的数据流识别研究主要是在应用层上针对通信协议或者应用类型进行识别,并没有考虑细粒度分类,且识别效率也没有经过实际检验。针对以上问题,本
随着现代科技的发展,需要传递旋转与移动构成的复合传动的场景越来越多,传统机构大多采用结构较复杂的组合机构对复合运动进行实现。而偏心端曲面齿轮副作为复合运动齿轮副以及一级齿轮传动机构,可以在需要复合运动的系统中对组合机构进行替换,达到简化机构以及装备轻量化的目的,在工业生产、航空航天等领域具有广泛的应用价值。偏心端曲面齿轮副可用来在相交轴之间传递变传动比的旋转运动,是一种基于端曲面齿轮副研究而演变得
近十年来,中国经济高速发展,人们生活水平越来越高,我国汽车的保有量迅速增长,“停车难”逐渐成为人们日常生活要面对的问题。智能AGV停车场可以通过改造现有老旧停车场,提高场地单位面积利用率和顾客体验度。而在停车场的场地设计中,往往路径通道只能容纳一辆AGV通过,因此对于AGVS调度系统要求比较高,需要对AGVS进行合理的路径规划和任务调度来减少AGVS之间的冲突。本文的主要研究内容如下:(1)首先对
微电网将独立的分布式发电系统集成起来,可并网也可离网运行,为负载提供不间断供电,提高了新能源的利用率与供电的可靠性。逆变器是微电网发电系统的核心装置,其不仅负责电能的转换,而且还能根据要求控制微电网的运行模式。大电网因偶然因素产生停电事故时,为保障微电网系统的稳定运行,逆变器需及时脱离电网。在此期间,由于不同运行模式下控制结构存在差异,可能会引起微电网失稳,触发系统保护,导致系统停机。因此,无缝切