论文部分内容阅读
随着数据时代的到来,各行各业所产生的数据呈指数级增长,数据的多样性和爆发式增长给数据存储和传输带来了巨大压力,严重阻碍了高性能计算在科学领域的运用和发展。数据压缩一直是人们用于解决此类问题的热点技术,寻找高效的数据压缩技术可以有效降低数据存储量和传输成本。而在科学计算领域,数据通常不以一般文件中的字符串形式存在,而是以浮点型数据的格式传输于各个计算机群中,因此,本文主要面向科学计算的浮点型数据压缩方法进行研究。 科学数据的表现形式多种多样,本文土要研究单精度浮点型数据。根据IEEE754格式,本文提出一种高效便捷的数据压缩技术-尾数整型化(Think Mantissa as Integer-TMI),主要研究工作如下: 1、对浮点型数据的符号域、指数域和尾数域分别映射、分别压缩,并对压缩后的数据以二进制位为单位进行存储。由数据按时问序列有序产生,设计出时间域压缩(T-TMI)、空间域压缩(S-TMI)和时间空间域压缩(T-S-TMI)三种方案,并从理论上分析了TMI压缩方法的效率。 2、根据TMI压缩方法的理论原型,提出基于CPU的OpenMP并行TMI压缩方法(OMPTMI)。将原有TMI压缩方法按分块机制并行化处理,并将各个块分别分配给小同内核同步处理,以加快数据压缩速度。 3、鉴于GPU在科学计算中的广泛应用,进一步提出基于GPU的OpenCL并行TMI压缩方法(CLTMI)。通过移植等手段,将TMI技术由CPU转移到GPU,并采用棋盘分割的方式充分利用GPU所提供的众核技术,实现了数据压缩速度的飞跃。 本文采用仿真实验(磁场仿真、流体仿真)对文中所提出的TMI、OMPTMI和CLTMI三种方法进行验证,实验结果表明:TMI压缩方法比当前流行的压缩工具WinRAR和WinZIP快最高达5倍;而OMPTMI压缩方法比TMI压缩方法快N倍,其中N表示CPU的核数(N<=4);若当数据已存于GPU中时,则CLTMI压缩方法比OMPTMI压缩方法快近30倍。由此可见,本论文的研究及实现手段可有效实现数据的实时高效压缩,显著节省数据存储空间、加快数据传输速度等。