大图上k边连通子图的并行查询和分析技术的研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:poloya
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网应用的迅猛发展,Web网络、社交网络等应用不断涌现,规模也越来越大,随之而来的大规模网络图数据的分析处理问题也成为了研究热点。同时,计算机以及网络技术的发展使得网络数据规模急速增长,在计算机集群中采用并行的分布式计算方式已经成为发展趋势。云计算(Cloud Computing)的一个最主要的优势就是它的优秀的并行处理能力,而这种优势是得益于它的简单高效的并行编程模型。其中,最典型的就是由Google提出的MapReduce分布式并行编程模型。其次,BSP (Bulk Synchronous Parallel)整体同步并行模型也受到非常多的关注。本文旨在研究大图上k边连通子图的并行查询和分析技术。针对k边连通子图的并行查询和分析技术的两个典型问题:统计三角形和最大k边连通子图查询,本文提出了基于BSP模型的解决方案。在统计三角形的问题中,结合经典的集中式算法的优点,提出了并行环境下的混合算法,并提出了消息剪枝,并行采样,结果去重等多种方案来提高并行算法的执行效率。并提出了存储优化以及算法改进,采样去重等优化方案。所有的方案都给出了可靠的理论证明。在最大k边连通子图查询问题中,本文分析了在集中式环境下解决这个问题的基础算法,然后结合BSP框架和基础算法的特点,提出了并行环境下的改进算法,并针对改进算法的特性,提出了多种剪枝和优化策略来减少需要计算的顶点数量。判断顶点是否需要计算的阈值随着算法的运行在动态变化。同时针对准确性要求不高的应用,提出了采样策略作为改进算法的可选部分。所有的剪枝策略,优化策略和采样策略都给出了可靠的理论证明。将本文提出的方案应用于BSP系统中,并通过实验来分析提出的解决方案。在统计三角形问题中,MapReduce下解决方案的处理速度比BSP慢了13倍。本文设计的消息优化策略大幅度的减少了消息的总量,同时采样策略也表现出了良好的性能,估计值的准确率非常高,并且取样之后的加速很明显。最大k边子图查询问题中,随着图的规模的增加,Hadoop (MapReduce)和集中式算法的执行时间非常长。但是在BSP框架下,改进算法的执行时间最多为数分钟。在分析剪枝策略的实验中,设置不同的阈值时,算法的执行时间有明显的减少,同时针对特殊应用的采样策略也拥有很高的准确率。
其他文献
[摘 要]2009年1月我们参与了教育部高教司启动的“用MATLAB和建模实践改造工科线性代数课程”的项目,主要负责制作一套线性代数机考试题,试题要求涉及线性代数课程的所有主要运算方法,而由计算机随机生成试题。由于试题生成的随机性,使得很多问题变得比较复杂,难于用线性代数的知识解决。文章介绍了利用矩阵的三角分解方法解决线性代数中遇到的一些特殊问题,以及具体应用的实例和线性代数课程改造的重要意义。 
利率市场化改革在给一国金融环境带来改善的同时,也使该国商业银行的利率风险问题突显出来,利率风险管理成了商业银行管理的一个主要问题。本文旨在阐明利率市场化给我国商业银
[摘要]高校学生公寓是大学生在校求学期间的重要活动场所,既是学生休息、学习、交流、生活的主要场所,也是学校对学生进行思想政治工作和素质教育的载体,是完成学生此阶段生命教育的重要阵地,所以在高校公寓中开展生命教育具有重要意义。  [关键词]高校学生公寓生命教育  [中图分类号]G641[文献标识码]A[文章编号]2095-3437(2014)13-0111-02  随着时代的发展,社会进程在不断地演
当前银行业大案要案频发,表明商业银行风险管理水平落后、内部控制建设不完善的问题,已成为影响银行业经营质量的重要因素。
文章首先将我国居民划分为生活水平不同的三类人群,然后以修正的生命周期理论为工具,从可支配收入和边际消费倾向两个维度出发,依次分析他们需求不足的原因及其在刺激消费需
近年来,人事部、建设部大力推行建设行业执业资格制度,目前,已经建立推行了注册建筑师、注册结构工程师、注册监理工程师、注册造价师制度,注册建造师制度也正在紧锣密鼓地推
文章通过对工程造价全过程控制的分析,指出各个工程阶段工程造价控制的要点,为领导层在投资决策、设计和施工等过程中做好经济参谋,保证项目管理目标的实现。
长期以来,对国企并没有分类监管,只是对人员根据身份有区别管理,相应的,薪酬机制无法真正合理化,说到底亦官亦商无法合理定价。“降薪后,我的收入就是8000。”说这话的,是副
警务训练是警察职业技能培训教育的重要组成部分。随着公安教育和警察队伍建设要求的提高,按照正规化、职业化教育训练的总体要求,改变警察在警务活动中“追不上、打不赢、说