基于动态再划分的分布式图系统负载优化机制研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:jay12
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机及网络技术的飞速发展,越来越多的应用领域需要对大规模图数据进行处理。传统的单机处理模式不能有效地适应大规模图数据计算,因此出现了许多分布式环境下的图处理框架,如Pregel、Giraph、Graphlab等。图划分是分布式图处理过程中的关键步骤,现有的分布式图处理系统大多采用一次性静态图划分技术来平衡各个计算节点的工作负载。由于在分布式图处理的迭代过程中,不同特性的图算法每次迭代计算所访问的图顶点数可能不同,其执行过程中的运行时负载是随图算法执行行为而变化的。一次静态图划分未考虑这种图算法行为所产生的运行时负载不均衡对计算性能的影响,无法保证图算法整个计算过程中的负载均衡,从而降低了图处理的效率。基于动态再划分的负载优化方法采用动态负载平衡技术,依据图计算的行为特性监测负载的运行时状态,动态地将超载计算节点的负载转移到未超载计算节点,从而减少图算法行为对负载的不均衡影响,提高分布式图处理的效率。主要研究内容包括:提出基于图算法行为特征的节点负载计算方法,建立以活跃顶点、传入消息数及远程传出消息为量化参数的节点负载计算模型;提出以局部节点负载为基础,根据图计算的行为变化平衡全局负载的两阶段负载动态再划分方法;设计实现节点监控程序以及以顶点为中心的负载迁移机制,在每次迭代最后阶段将监控到的节点负载发送到其它计算节点,由各节点协同地进行超载判定,确定负载并进行迁移。针对多种图算法,在大量数据集上对所提出的动态再划分机制进行测试。测试结果表明,相比未采用动态再划分机制的图计算系统,动态再划分方法能够有效地改善系统运行时的负载不均衡状况,图计算任务的执行效率在最好情况下提升50%,整个系统具有良好的扩展性。对于非稳定型图算法,动态再划分方法具有更好的性能提升效果。
其他文献
随着软件工程化思想的实践与发展,软件测试日益得到重视和专业化。现代软件企业都设立了独立的测试部门,与软件开发部分并行工作,成为软件开发中不可缺少的一部分。由于传统的手
学位
神经网络已广泛应用于模式识别、信号处理、图像处理等智能化信息处理领域,但网络的性能主要由网络的学习算法和网络的结构所确定,因此结构优化是神经网络研究的重要内容。神
装箱问题就是将不同尺寸的物品摆放入有一定容量的容器中,以获得某种最佳的效益。装箱问题广泛地用于机械生产和交通运输等行业当中。对该问题求解方法的研究无论是在理论上,
离散事件系统在生产、生活中随处可见,其特征是系统中的状态变量是离散化的,即它们的变化是在一些离散的时刻发生,系统的变化是由于事件的变化所引起的,同时事件产生的时间及
随着云计算技术的快速发展,大量的应用服务被部署到云环境中虚拟机内部,使得大量的虚拟机镜像存在于云平台中。如果用户不能够及时更新虚拟机内部的过期软件,将会在安全方面
随着网络的普及和快速发展,网络入侵已经成为计算机安全和网络安全的最大威胁。加密、身份认证、访问控制和防火墙等,这些采用被动防御策略的传统安全技术,在一定程度上保证了网
目前,基于ARM体系结构的嵌入式系统应用日趋广泛,建立嵌入式系统软件是应用开发的关键环节,嵌入式系统软件架构一般由板级支持包、嵌入式操作系统和应用软件三部分组成。其中
随着网络的快速发展,多媒体文件的数目以指数形式增长。视频本身就是一种多媒体文件,包括图像、文本、语音等多种媒体数据,如何快速地处理视频数据、更好地分析和理解视频中
移动Ad hoc网络是由一组带有无线通信收发装置的移动节点组成的一个临时、多跳的网络。不需要中央控制设施。网络中的节点既是路由器,又是主机,作为对等实体连接在一起。非相邻