面向科学计算的浮点型数据压缩方法研究

来源 :西安理工大学 | 被引量 : 0次 | 上传用户:qiuqiuls
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据时代的到来,各行各业所产生的数据呈指数级增长,数据的多样性和爆发式增长给数据存储和传输带来了巨大压力,严重阻碍了高性能计算在科学领域的运用和发展。数据压缩一直是人们用于解决此类问题的热点技术,寻找高效的数据压缩技术可以有效降低数据存储量和传输成本。而在科学计算领域,数据通常不以一般文件中的字符串形式存在,而是以浮点型数据的格式传输于各个计算机群中,因此,本文主要面向科学计算的浮点型数据压缩方法进行研究。  科学数据的表现形式多种多样,本文土要研究单精度浮点型数据。根据IEEE754格式,本文提出一种高效便捷的数据压缩技术-尾数整型化(Think Mantissa as Integer-TMI),主要研究工作如下:  1、对浮点型数据的符号域、指数域和尾数域分别映射、分别压缩,并对压缩后的数据以二进制位为单位进行存储。由数据按时问序列有序产生,设计出时间域压缩(T-TMI)、空间域压缩(S-TMI)和时间空间域压缩(T-S-TMI)三种方案,并从理论上分析了TMI压缩方法的效率。  2、根据TMI压缩方法的理论原型,提出基于CPU的OpenMP并行TMI压缩方法(OMPTMI)。将原有TMI压缩方法按分块机制并行化处理,并将各个块分别分配给小同内核同步处理,以加快数据压缩速度。  3、鉴于GPU在科学计算中的广泛应用,进一步提出基于GPU的OpenCL并行TMI压缩方法(CLTMI)。通过移植等手段,将TMI技术由CPU转移到GPU,并采用棋盘分割的方式充分利用GPU所提供的众核技术,实现了数据压缩速度的飞跃。  本文采用仿真实验(磁场仿真、流体仿真)对文中所提出的TMI、OMPTMI和CLTMI三种方法进行验证,实验结果表明:TMI压缩方法比当前流行的压缩工具WinRAR和WinZIP快最高达5倍;而OMPTMI压缩方法比TMI压缩方法快N倍,其中N表示CPU的核数(N<=4);若当数据已存于GPU中时,则CLTMI压缩方法比OMPTMI压缩方法快近30倍。由此可见,本论文的研究及实现手段可有效实现数据的实时高效压缩,显著节省数据存储空间、加快数据传输速度等。
其他文献
随着网络应用范围的不断扩大,网络信息安全正日益得到人们的关注。作为一种能够自动、实时地保障网络信息安全的动态安全设备,入侵检测系统成为防火墙一类静态安全设备的必要
真实感的头发建模与仿真研究现已广泛应用于计算机动画、电子游戏、影视制作等领域。由于头发的物理特性复杂,人类头发的建模与仿真被认为是虚拟人研究中最艰巨的任务之一本
智能化监控系统在军事、银行、交通等关键行业的预警,在安全防范和现代化管理中的需求和应用愈加广泛。基于视觉的视频监控系统目前受到各种交通,银行等部门的广泛应用,与其
城市供水设施是一个具有复杂的空间和非空间信息的纵横交错的巨大网络,行业中存在着地上地下资产难以管理维护等问题。本文简述了GIS的发展历史和GIS的技术体系,利用SuperMap的
GPU(Graphic Processing Units)的并行性以及近年来发展起来的可编程功能为处理科学计算提供了良好的运行平台。由此使得各GPU厂商们转向将GPU用于通用计算方面的研究,提出如C
传统的财务管理系统发挥计算机系统的处理能力,降低财务管理工作强度,使财务部门及其他部门的预算信息充分沟通,确保学校资金能够科学、合理的使用,大大提高财务人员的工作水平和
在一个P2P文件共享系统中,终端用户节点(Peer)通过Internet完成文件交换。一个P2P文件共享系统,需要解决两个方面的问题:文件搜索和文件传送。由于P2P系统本身的分布式存储特
云计算门户是云计算平台的人机交互入口,它能聚合原有门户网站的信息资源,支持各种移动平台终端和浏览器的访问。用户可通过云计算门户与原有门户网站的交互,实现原有门户网站数
由于城市地下管线的增多和各大城市地铁建设的加快,道路塌陷的事故越来越多的发生在我们的生活中,逐渐成为城市生活中一个看不到的隐患,随时对人民的生活产生着威胁。人们对城市
人脸验证是计算机识别领域非常活跃的研究课题,它包括三个主要技术环节,即预处理、人脸特征提取和分类器设计。人脸特征提取又称为人脸表述,是在低维特征空间内对原高维空间