面向Spark平台的聚类算法GPGPU加速技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:balonbalon
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为面向内存的分布式并行计算框架,Spark非常适合于迭代式计算,但是飞速增长的数据量和日益苛刻的实时性要求使得Spark平台的性能优化已迫在眉睫。为了解决Spark平台CPU计算能力弱的问题,本文针对数据挖掘领域广泛使用的核心算法之一,聚类算法,以具有更高计算并行性的GPGPU为加速设备,深入研究了Spark平台的异构计算性能优化问题。  本文的主要工作和创新点包括:  1)提出了面向GPU异构加速的以非规律并行归约树为核心算法的归约操作优化机制,以实现位置不连续数据在GPU端的并行归约。在面向Spark-GPU平台的聚类算法的归约操作中,同一聚类的数据在GPU端的存储位置不连续,以往会导致归约操作被迁移到CPU端执行,从而造成大量的CPU与GPU间的数据传输和Spark网络shuffle等通信开销。本文设计并实现的面向GPU加速的归约操作优化机制能有效降低通信开销,提升GPU的利用率。  2)提出了基于GPU多层存储结构的数据放置优化策略。GPU中不同存储层次的容量、带宽和延迟各不相同,而聚类算法所访问数据的类型、规模和使用频率也不尽相同。本文提出的数据放置优化策略针对上述特点实现了缓存循环不变量,利用GPU本地和私有内存,级联访问等机制。实验表明,这些优化策略能够有效降低GPU端的计算开销。  3)基于上述优化机制,本文设计并实现了面向Spak-GPU平台的KMeans算法,并对加速效果进行了深入的评测分析。测试结果表明,相对于使用Spark MLlib和CPU实现的KMeans算法,本文实现的KMeans算法取得了3倍的性能提升。
其他文献
随着多媒体技术、互联网技术的快速发展,以及各种海量数据存储技术的不断涌现,简单的文字信息交流已水能满足人们日常工作、学习和交流的需求。以图像为代表的多媒体信息载体,由
随着我国社会经济的发展,城市建设步伐的加快,人们对交通运输需求的不断增加,城市的交通问题越来越引起大家的关注。如何采取合理的交通控制方法,最大程度地缓解城市主支干道以及
随着城市太口的增多和城市交通的密集化,人们对智能交通提出了越来越高的要求,而车载智能终端作为交通网络的神经末梢,也在日新月异的发展过程中。一方面传统的车载终端,智能
我国高校信息化进程通过长时间的发展,逐渐从系统集成阶段进入到应用集成和信息集成阶段。在高校信息化进程中不断产生了“信息孤岛”难题,“信息孤岛”难题的解决有许多传统方
森林资源调查和监测是研究地表植被覆盖状况乃至全球生态变化的重要内容,而森林区域面积的调查和统计又是森林资源调查和监测的研究重点。利用遥感卫星或航空飞机拍摄的高空间分辨率遥感图像,研究解决森林面积的估测问题,即对高分辨率遥感图像进行分类,进而提取出森林区域的部分,是本文的研究重点和主要内容。当前高分辨率遥感图像的分类主要是以计算机为主要工具的对遥感图像像素进行数值处理,从而达到分类识别地貌特征的目的
近年来,随着分布式数据处理技术和云计算的不断发展,数据中心从简单的服务器托管和维护的场所变成了具备海量数据计算和存储能力的网络集群,为大型信息系统提供海量数据处理和存
常识获取是人工智能领域的一个核心难题,其目标是构建面向应用的大规模常识知识库,以实现真正的智能系统。为了突破知识获取“瓶颈”,常识获取的方式经历了由人工编辑到自动
随着网络技术的不断发展,各式各样的网络中间设备不断涌现,发挥着越来越重要的作用。传统的基于专有硬件的网络中间设备具有价格昂贵、难于编程、难于管理等缺陷,网络功能虚拟化
民主是人类政治生活的主题,它关涉民主实践和民主价值。选举是实现民主的重要手段,也是民主政治的核心问题。时代的发展和科技的进步推动了选举制度的改革,而选举技术也随之不断
近些年来随着信息技术的飞速发展,网络技术深入到生活的方方面面,特别是在网络用户密集的大中城市,为了获取到便利的网络连接,各个城市都在努力建设高效、便捷的信息网络,无