分布式大规模图数据流式划分算法FENNEL的改进

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:liangdd1984
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图划分在分布式计算和大规模图数据处理等方面有着重大的意义。当图数据规模较小时,静态图划分算法(如METIS)能有效处理,获得较小的切边率;但是随着应用快速发展,图数据规模的急剧增长给静态图划分算法造成显著挑战,因其处理速度及可扩展性较差而难以处理千万级以上大规模的流式图数据。流式图划分算法的出现很好的解决了上述问题。FENNEL算法对多种流式图划分算法进行了统一的建模,其切边率要优于目前主流的流式图划分算法,且较为接近学术界公认优秀的静态图划分系统METIS,而其运行速度却比METIS快。不过,FENNEL算法是一种串行的流式划分算法,扩展能力受限,如何提高其并发性而且减少因并发性提高而带来的切边率影响就成为改进所面临的主要挑战。本项研究通过对FENNEL的处理模型进行分析,找出FENNEL现有分布式部署方法中,星形串行网络模型存在的处理效率低、可扩展性差等问题,并针对这两方面的问题,提出了一种并发改进方案,以及一种树形网络拓扑结构,并进行理论推导,以求证其可改善系统并发性及扩展性。然后,对各种类型的图数据进行串行、并发模型的对比测试,测试数据表明了在原生图数据以及图数据随机到达的情况下,FENNEL并发改进方案可以保证几乎不影响图划分切边率,同时有效的加快图划分的速率,但是其速率会随着工作节点数量的增加而减低;而树形网络拓扑结构能通过调整并发度来有效提高图划分速率,且其速率几乎不会受到工作节点数量的影响。不过,对于按照广度优先搜索顺序进行预处理后的图数据,即图节点按照邻接关系顺序进行划分处理,并发方法将显著提高其切边率。
其他文献
剖析道家思想为人类社会解决生态环境问题提供一些启示,从而告诫:我们应该将自己合理的纳入大自然,与大自然和谐相处,尊重生命的多样性。
目的探讨碱性漱口水对血液科发热患者口腔感染的影响。方法选取2012年1月-2016年12月医院血液科收治的发热患者996例,采用随机数字表法将患者分为观察组和对照组,每组各498例
选择5个南海表层沉积物及其非水解有机质(NHC)级分作为研究对象,应用元素分析、二氧化碳和氮气吸附技术及X射线光电子光谱(XPS)表征,同时研究了其对菲和壬基酚的吸附行为.沉
据日本媒体报道,近日日本众议院全体会议针对以增加消费税为核心的整体改革相关法案进行表决。最终在自民党和公明党的支持下,法案以363票赞成、96票反对获得通过。这是日本
萨北油田自"十五"期间,注入站采用了单井母液流量调节器,通过电磁流量计的输出信号调节开启度,来调节每口井的聚合物母液流量,实现一泵多井工艺。经过几年的现场应用,一泵多
本文有两个研究方向,其一通过原位热处理来提升OLED器件的发光性能。对于蓝光器件而言,在100℃的条件下对其进行原位热处理,其功率效率相比常温蓝光器件提升了30%,但是其色稳定性却没有任何影响。然而,对于白光器件而言,100℃条件下对其进行原位热处理,其峰值功率效率没有增益,但其色稳定性得以提高。同时,对于红-绿发光层而言,原位热处理对其峰值功率效率同样没有增益,且使其色稳定性变差。加热改变发光性
文章分析了全自动无人驾驶系统的优势,同时阐述了全自动无人驾驶车辆常见的几种运营模式特点,最后再结合国内外有关研究,基于大框架背景对全自动无人驾驶车辆的特点进行了一
《中医文献杂志》2017、2018年度优秀论文评选于近日开展。本刊编辑部在当年所有公开发表的论文中初选10篇入围作品,两年度共20篇。所有论文隐藏作者姓名及单位信息后,邀请在
背景和目的:肝肺综合征(Hepatopulmonary syndrome,HPS)作为一种终末期慢性肝病患者的严重并发症,在晚期肝硬化患者中的发生率约为5%-32%。临床特征主要为:排除原发性肺疾患后的三联征——基础肝脏疾病、肺内血管扩张(Intrapulmonary vasodilation,IPVD)和动脉血氧合功能障碍。其可能的发病机制主要有肺内微血管的异常扩张以及肺血管重塑(Pulmona
从政府创新的要素视角与过程视角,对政府创新机制进行解读发现,影响政府创新生成的因素主要有制度空间、创新环境、创新组织、创新主体和创新内容等方面。采用针对影响创新生