基于BSP的轻量级并行计算模型研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:zolono188
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,终端设备的广泛普及使各种各样数据的收集、存储得以实现。同时体量巨大、维度高、数据类型复杂、价值密度低特性已经成为当前大数据的主要特点[1-2]。虽然大数据的出现为相关行业的数据分析指导带来了新的机遇,但是同时其数据量巨大、维度高的特性给数据的计算提出了新的挑战。为了解决大数据的计算难题,并行计算框架的概念得到迅速推广。  目前主流的并行计算框架主要分别有Hadoop、Spark、Strom等大型并行计算框架。这些并行计算模型均采用具有分布式内存计算特点的BSP计算模型达到多机并行的目的。虽然以上的并行计算框架均有各自的特点和应用场景,但是当前并行计算框架的共性是需要较大的计算集群来支撑运行。此外,该多种大型并行计算框架需要较为复杂的配置以及维护,并且框架采用的单节点单计算线程计算方式造成相应计算资源的利用不充分。因此一个具有易于维护部署、计算资源利用充分等特性的轻量级计算模型成为当前的迫切需求。  为了弥补大型并行计算框架使用带来的限制条件,本文提出了一种基于BSP的轻量级并行计算模型。该轻量级的并行计算模型的主要特点是易实现、易维护、易部署、计算资源利用率高。该模型从宏观上采用了BSP的分布式内存计算概念实现集群并行化,同时又在该基础上做出了改进。即该模型底层在实现多节点间并行的同时,实现了单节点内线程并行的两级并行架构。这种设计有效的提高了计算集群资源的利用率又解决了单节点并行计算能力有限的问题。两级并行架构之上为并行计算模型的管理模块。该模块主要包括计算集群管理、任务分配、资源调度、结果收集等功能。为了实现集群的负载均衡,本文提出了一种任务动态分配策略。同时为了应对并行计算过程中出现的异常情况,本文提出了延时等待策略,它包括任务计算超时,任务计算失败等特殊情况的处理方法。并行计算模型数据管理方式统一采用数据分块策略。该策略是根据算法局部数据访问特点设计的一种对数据分批加载、分批计算的方法,实现了在小内存条件下海量数据的计算。  本文最后以某特征提取算法为测试示例对并行计算模型进行了三类实验测试:一、通过模拟各种环境对该模型进行功能测试,该功能测试主要包括任务动态分配分配测试、主副节点故障测试、延时等待测试;二、通过调整数据块尺寸测试不同条件下的内存消耗情况。三、通过使用大小不同的数据集测试并行计算模型对示例算法并行计算的加速情况。通过对结果的对比分析,分析并行计算模型在特定场景下的计算效果。
其他文献
在实时数据库VegeBam1.0的基础上构建实时数据库系统VegeBam2.0的系统架构,并在研究的基础上开发了一个具有自主知识产权的实时数据库系统VegeBam2.0。主要内容如下:描述了实
监控视频下的行为识别是计算机视觉领域的研究热点之一,本文对其从时空关系挖掘的角度进行研究。首先,提出针对监控下异常行为的基于时空一致性光流特征分类的行为识别技术,获得了很好的识别效果;进一步,针对干扰识别效果的重要因素之一——阴影问题,提出了基于马尔可夫时空关系建模的移动阴影检测方法,获得了很好的阴影检测结果,从而有助于取得更佳的行为识别效果。(1)基于时空一致性光流特征分类的行为识别为了区分视频
学位
随着计算机网络信息时代的到来,企业信息的安全问题已经越来越多的被广泛关注。对于企业来说,不仅要杜绝来自企业外部的攻击和破坏,更要防止来自企业内部的有意或者无意的泄密行
随着当代高铁技术的蓬勃发展,列车速度不断提升,铁道线路快速延伸,这就对列车到达预警的很多性能参数,如预警距离、系统功耗成本、扩展性、抗干扰性等提出了更高要求。面对这
随着互联网的不断发展,网络已经成为了人们获取信息的重要来源。但是网络信息的快速增加,使得人们快速准确查找信息的难度也不断增大。搜索引擎的出现,就是为了帮助人们解决这个
移动机器人路径规划问题是机器人研究中的关键技术,一直以来是国内外学者热衷的研究课题。然而,传统的路径规划方法都存在各自的缺陷,所以寻求更佳的算法就成为该领域的一个研究
随着智能互联网时代的到来,人们迫切需要一些技术手段从海量数据中自动快速地找到符合用户感兴趣的数据,个性化推荐技术就此诞生。协同过滤(Collaborative filtering,CF)算法是推荐技术中最成熟的技术之一。在面对日益增长的大规模用户和项目时,由于用户评分的有限性以及新用户和新项目的增加,CF算法还存在着一些问题亟需解决。针对CF算法自身存在的缺陷及现有问题解决方法的不足,本文对其进行
学位
作为数据挖掘领域中一项重要的技术,分类技术在许多方面有着广泛的应用,目前存在着很多的分类技术,如决策树、支持向量机等。为了达到比较好的预测效果,传统的操作中,常常通
双目立体视觉通过模拟人类视觉机理可以获取图像的深度信息最终实现物体的三维重建,是计算机视觉中一个重要的研究方向。面对数码相机拥有率不断提高的今天,普通用户如何利用
现实世界的很多复杂系统可以用网络的形式来表达,比如在社会网络和生物网络中,网络中的点表示系统中的实体,网络中的边来表示实体间的关系。随着研究的不断深入,学者们发现实