分布式环境下海量图数据的可达性查询研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:qq182894393
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图数据信息的应用极其广泛,存在于科学技术的各个领域,因此经常会遇到图数据信息中有关可达性查询的计算问题。随着数据量的急剧增长,传统的可达性计算方法已经无法满足大型图数据上的计算,这使得如何在大型图数据上进行可达性查询成为了一个亟待解决的问题。图数据的可达性查询与其计算模型及处理算法密切相关。传统的可达性计算方法存在本地局限、处理数据量不足及扩展性差等缺点,其改良算法在百万级别顶点的图数据上也有限制,只适用于在单机环境中进行计算。针对海量图数据的可达性问题,设计了在分布式环境下海量图数据的可达性计算框架,提供了一种可以对千万级顶点和亿级边的图数据进行可达性查询的方法。针对于传统的可达性方法无法有效地处理分布式海量图数据的问题,设计了基于分布式文件系统的海量图数据的可达性计算框架。计算框架中对图进行了预处理,并设计了在分布式环境下针对可达性查询问题的均衡拓扑划分策略,经过一次划分使得子图内部拥有较好的内聚性;设计了分布式跨子图索引,在子图上找出骨干顶点和外部联系顶点建立索引,用于有效地在划分后的子图内部和子图之间进行并行的可达性查询计算。通过图划分以及可达性连接测试表明,利用海量图数据的可达性计算框架,可以有效地对分布式下千万级顶点和亿级边的图数据进行可达性查询。
其他文献
大规模图数据处理已经成为大数据时代的一个重要组成部分,无论是在社交网络,还是在Web应用、生物信息网络等场景中都有所涉及。图计算系统的研究,也因此成为了高性能计算领域
病毒式营销是社交网络中重要的应用,现实场景中,社交网络中的用户通常属于某个具有特定组织结构的社交团体,因此如何选择给定数量的团体,基于所有团体内节点之间的相互信息传
近几年来,P2P作为一种新型的网络应用模式以其可扩展性、高度容错性等突出优点变得越来越流行。资源搜索机制作为P2P应用的核心技术,其目标是在P2P这种分布式动态环境中以最快
近年来,由于多核处理器的快速发展,多线程编程技术已经越来越受重视,并得到了广泛的应用。然而,由于多线程执行顺序的不确定性,也为大型并发程序或软件中潜在错误的查找工作
论文以某公司企业财务信息集成系统建设为背景,讨论了基于Web的企业财务应用系统研究与开发。在企业客观条件的限制下,传统财会管理与技术上存在很大的局限性,使得各种架构系
图形用户界面(GUI)软件测试是GUI软件开发中非常重要的一个环节,是保证软件质量、提高软件可靠性的关键。GUI不同于传统软件,它提供了使用者一个非常直观易于使用的环境,因此
径向基函数神经网络以其简单的结构,优良的全局逼近性能而引起了人们的广泛关注。由于径向基函数神经网络的独特的拓扑结构和训练方法,使得它在函数逼近和非线性系统预测等领域
最大化多样性分组问题是一个来源于实践的组合优化问题,在给出一个元素集合对应的距离矩阵的条件下,要求将其分成若干组,使得多样性最大。该问题在现实中有很多应用,而且已经
网格计算是解决科学计算、工程计算和商业计算等大规模计算的下一代极具潜力的计算平台。网格核心服务是网格的重要组成部分,是连接网格底层和高层功能的纽带,是协调整个网格
“珠峰自然保护区生态旅游自助服务系统”是在充分调研、分析和野外调查基础上,利用WebGIS技术,设计开发的应用于珠峰保护区的WebGIS系统。针对珠峰自然保护区的特点和系统需求