一种高效的大规模动态图划分算法的研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:aujnqejbrob
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,很多问题的底层数据模型是顶点或边的数据规模达到千万甚至上亿级别,且顶点和边实时变化的大规模动态图,例如,社交网络图、Web网页图等等。为了高效地进行大规模动态图的分布式/并行计算,必须对大规模动态图进行均衡合理划分,高效的大规模动态图划分是高效的大规模动态图分布式/并行计算的基础和前提。一般而言,高效的大规模动态图划分算法需要满足以下3个要求:1)划分的各分区间的通信代价尽可能小;2)各分区内的顶点/边的数量应尽可能均衡;3)大规模动态图划分算法是大规模动态图分布式/并行计算的预处理,所以大规模动态图划分算法应具有较好的时间性能。由于大规模动态图划分问题的复杂性,它是一个亟待解决的NP难问题。近年来,许多学者开始关注并研究大规模动态图划分问题,也开始涌现了一些创新性的大规模动态图划分算法,但是现有算法普遍存在以下缺陷:1)算法时间性能有待于提高;2)算法不能实时应对大规模动态图中边/顶点的变化;3)现有的算法仅考虑了各个分区上顶点/边的均衡问题,没有考虑动态图中各分区的活跃顶点/边在图计算中的均衡问题;4)算法需要较大的辅助空间。因此,创新研究与实现高效的大规模动态图划分算法,具有重要的理论与现实意义。论文选题来源于国家自然科学基金面上项目,创新研究并实现新的高效的大规模动态图处理框架及划分算法。针对现有算法的缺陷,本文提出了一种高效的大规模动态图处理框架DynGraphX,并基于该框架,提出了一种基于图中顶点中心性的哈希大规模动态图分布式划分算法CBH-DGP。论文的主要工作及创新如下:1)提出了一种新的顶点中心性,即一个顶点在网络中的重要程度。顶点中心性度量方法,它能高效实时地识别大规模动态图中的活跃高中心性顶点;2)提出了一种基于顶点中心性的边散列策略,将活跃的中心顶点尽量散列开,以避免大规模动态图划分计算过程中,各分区上顶点的计算量不均衡问题;3)针对现在尚无公开的适合大规模动态图处理框架问题,基于大规模静态图处理框架GraphX,创新设计并实现了一种新的高效的大规模动态图处理框架DynGraphX。并基于该框架设计与实现了高效的分布式大规模动态图划分算法CBHDGP;4)在大量的大规模动态图数据集上,对所提出的大规模动态图处理框架DynGraphX,以及所提出并实现的大规模动态图分布式划分算法CBH-DGP进行了较充分地仿真实验。大量的实验结果表明:所提出的大规模动态图处理框架DynGraphX可行、高效;所提出并实现的大规模动态图分布式划分算法CBH-DGP优于目前最好的大规模动态图划分算法,其划分质量高,划分速度快,并且可显著提高大规模动态图计算性能。目前算法还存在未充分考虑有向图结构特征和低中心性顶点之间的连接关系等问题。作者后期将进一步改进与完善当前算法,充分考虑有向图结构,使之能在有向图上有更好的划分质量。并且充分考虑低中心性顶点之间的连接关系,进一步降低通信代价。
其他文献
本文应用一种弱Galerkin有限元方法来研究线性四阶抛物型方程。首先基于椭圆方程在一个任意多边形或多面体区域的变分形式,定义适当的弱函数空间,并引入弱微分算子,用弱微分算子替代变分形式中的经典微分算子从而得到一个新的数值形式。此处定义的弱微分算子对于连续函数和完全不连续函数都适用。这是对四阶方程有限元方法的一个重要补充。为了保证解的唯一性,我们进一步引入适当稳定子,并使用Galerkin方法的分
随着我国社会经济的发展,经济形态开始向体验型经济转变。同时随着互联网的迅猛发展,人与空间、人与信息、人与人的关系也发生了巨大的改变。受互联网电商冲击的大部分实体经济变得萧条,人的消费行为可以在任何空间发生,人获取信息的途径多种多样,获取的信息量也是繁多冗杂,人与人的关系因为互联网变得很近,却又因互联网变得很遥远。本课题将“互动设计”作为工具,研究分析了大量实际案例并梳理得出互动设计的原则,同时总结
女权主义思潮的萌芽最早可以追溯到欧洲文艺复兴时期。伍尔芙的女性主义思想虽有继承性,但更重要的是她的开拓性。她敏锐地意识到男性作家存在歪曲女性形象的现象,并提倡女性
我国国民经济正处在迅速发展阶段,国家对能源的需求不断增加,也不断加强对能源使用过程中的环境保护。天然气冷热电联供系统具有能源利用率高、污染物排放少等优点,近年来在国内快速发展。为了提高天然气冷热电联供系统的综合运行效率,本文以某一酒店的三联供系统为研究对象,首先介绍系统的设备配置及运行模式,用Trnsys软件搭建“以电定热(冷)”模式下的三联供系统物理模型,通过实验验证物理模型的正确性,然后和“以
在中国,私人健身工作室的发展还处于初级阶段,数量比较少,而且没有固定模式,所以可依赖的经验也不多。私人健身工作室主要走中高端路线,济南市超过半数的私人健身工作室都位于高端住宅区附近。私人健身工作室投资成本相对较低,根据每一个成员的平均消费从15000元到20000元不等,如果募集100个会员,即可回收成本,收入即超过100%。[1]私人健身工作室的教练受教育程度比较高,相对普通俱乐部都有一定的训练
<正>自2014年起,上海中考语文的题型设置有了新的变化,为了凸显语文学科的实际应用功能,强调在具体生活情境中考查学生理解和运用语言文字的能力,中考试卷减少了现代文和文言
中华民族的传统文化是五千年智慧的结晶,要做到文化的传承,在素质教育中加大传统文化教育力度必不可少,尤其是小学阶段的语文阅读课堂,正是渗透传统文化与民族精神的优良契机
集体土地开发存在多种模式,分析、梳理农村集体土地开发的模式与机制,有助于进一步推进城镇化的健康可持续发展。基于城市政体理论,提出"地方政府-企业"联盟主导、"企业-村民
汶川特大地震距今已十年有余,这十余年来,灾区发生了翻天覆地的可喜变化。2018年2月,习近平总书记专程来到汶川特大地震震中地——映秀镇调研,鼓励灾区群众在创造美好生活上
文字是图像中极为常见的视觉元素,包含了丰富而准确的高层语义信息,可以更好地表达场景视觉内容,对人们描述和理解图像具有重要帮助。自然场景文字识别在地图定位,盲人导航,