并行技术在气象卫星海量数据可视化系统中的应用

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:suxinlan2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
气象卫星海量数据可视化系统的目标是,以直观的图像方式呈现数据。由于气象卫星数据是海量的,基于常规技术的系统在并发用户较多的情况下,它的响应速度比较慢。为了解决常规系统存在的性能问题,本文提出了卫星数据可视化系统PDVSMS。PDVSMS采用并行文件系统存储海量数据,利用高性能计算集群运行MPI可视化程序以实现数据的并行处理。和常规系统相比较,随着并发用户数的增多,PDVSMS的响应速度得到了较大的提高,取得了较好的用户体验。本文在分析“并行文件系统”、“高性能计算集群技术”和“MPI并行算法”的基础上,针对卫星系统的应用特点,选择使用Lustre并行文件系统存储卫星数据,实现了可视化程序的MPI并行化(以NDVI气象卫星数据为例),成功地将并行文件系统和高性能计算集群整合在一起,最终构建出基于并行技术的气象卫星海量数据并行可视化系统PDVSMS。由于stripe_size的不同配置会影响到Lustre文件系统的IO效率,本文通过实验确定了最佳的stripe_size。高性能计算集群的软件部署采用联想公司提供的集群解决方案(基于OpenPBS)。MPI并行算法采用C++编程语言以及MPICH2并行语言库实现。最后,本文利用有限的测试资源,对常规系统和PDVSMS作了性能测试,所得到的实验数据验证了PDVSMS的有效性和合理性。
其他文献
随着通信与计算技术的发展,层出不穷的各种无线技术为人们提供了多种多样的通信方式和无处不在的接入服务。但是,要实现真正自组织、自适应的泛在服务,还需要充分利用不同网
基于复杂网络的移动社会性软件系统是山东省自然科学基金的项目,目的是运用各种先进的技术,开发一个性能良好的移动社会性软件资源管理平台,对众多的移动社会性软件资源进行
近年来,由于国家公共安全、信息安全等应用背景要求人脸识别系统能够适应一般的环境,由此需要研究者提出一个更为鲁棒、高效、实时的人脸检测算法。在这一实际应用的需求下,
随着互联网技术以及数字图像信息技术的飞速发展,图像信息的运用、获取、传送和交换显得越来越方便,互联网中以及人类的生活中无时无刻都会出现大规模的数字图像。而依靠人工
高光谱图像包含了丰富的光谱信息,普遍的应用于多种领域,逐渐成为了对地观测最为首要的信息源之一。但是由于其成像原理,以及高光谱成像仪的制造技术等诸多外界原因的限制,高光谱图像的空间分辨率普遍比较较低,混合像元普遍存在于图像中。对于土地覆盖制图、海岸线提取、变化检测和景观指数估计等应用来说,混合像元内地物的空间细节信息极其重要,假如按照传统的硬分类方法,图像中的混合像元被归类为任意一种地物都是不正确的
在互联网的普及下,视频业务展现了其巨大地影响力,同时与之相关的视频处理技术自然也得到了越来越多的关注。其中有关如何利用视频处理技术来更好地满足视频业务的需求,一直
H.264/AVC是ITU-T VCEG和ISO/IEC MPEG联合制定的最新的视频压缩标准。帧内预测是H.264/AVC视频编码标准的一个重要组成部分。标准中提供了多种预测模式,在进行帧内预测时,将
生产调度问题存在于现实的工业工程领域,调度方法和优化技术的研究与应用,是实现先进制造和提高生产效益的基础和关键。在对生产调度问题进行深入研究以后,学者们逐渐认识到,
交通监测系统中的车辆检测与跟踪是实现交通管理自动化、智能化的重要环节和关键步骤。随着计算机技术和图像处理技术的不断发展,基于视频序列的车辆检测与跟踪得到了越来越
学位