一种基于局部信息的分布式社区结构挖掘算法

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:liuchunxi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
复杂系统是现实世界的重要组成部分,复杂网络是对复杂系统的抽象。研究并发掘复杂网络的性质可以帮助人们更好的理解复杂系统。随着社会的网络化以及计算机技术的不断发展,人们对现实世界的建模能力较过去有了长足的发展,这使得网络科学的工作者所接触的网络模型越来越复杂,面对的任务也越来越重。而社区结构是人们认识复杂网络的一个有力工具,从而使得解决复杂网络中的社区结构挖掘问题成为一项积极有意义的工作。现实世界中个人在生活工作中所产生的数据急剧增加,同样它们所需要的信息量也随之增加。面对海量数据,如何在一个可接受的时间内挖掘出特定人群所需要的信息是一个重要的挑战,分布式成为人们处理海量数据的主要方式之一。文中首先分析了复杂网络的基本特征并以此引出复杂网络的社区结构特征;然后分析了现有的社区结构挖掘算法,总结了算法的优缺点。基于全局信息的社区结构挖掘算法需要利用网络的全局信息,因此时空复杂度都较高,而且在复杂网络中全局信息并不容易获得。为此本文研究并实现了一种基于局部信息的社区结构挖掘算法,同时将其推广到分布式平台上进行实现。利用分布式平台的优势,达到时间与空间的良好平衡。文中在Clauset提出的局部模块度概念的基础上提出了一个新的衡量节点是否属于特定社区的函数,应用该函数对Bagrow算法进行改进,改进的算法考虑了节点的更多信息,因此在精确度上取得了进展,但是算法的迭代速度并没有提高。随后文中分析了本地社区中节点的特点并提出了两种启发式方法,应用启发式得出了一种新的算法,新算法在保持准确度的同时提高了算法的迭代速度,而后将其以MapReduce的编程模型进行实现,最后在Hadoop开源平台上实现整个算法,并进行了实验验证。实验结果表明改进算法较原始的Bagrow算法在精确度上有了一定的进步。而算法的MapReduce实现则证明了在数据量逐渐增大时,分布式计算是一个有力的武器。
其他文献
随着信息技术的不断发展,传统的对社会保障的人工审计已经不能满足现阶段的审计需求,因此,利用计算机进行审计工作成为了一种有效的方法。在利用计算机进行社保审计时,第一步需要
作为新兴的安全访问策略,RBAC由于具有模型清晰、扩展性大、稳定性高、易于应用等优点,被越来越多的研究者所关注,其研究范围也不断扩大并被越来越广泛的应用于各个领域来减少管
E-Learning(Electronic Learning),又被称为网络化、数字化学习,是一种新的教育方式,学生可以通过互联网进行快速有效、探索、延伸性的学习。WebQuest教学模式是E-Learning教育方
大力发展奶牛畜牧业可以在很大程度上促进我国的经济发展。因为牛奶食品有很高的营养价值,它含有120种人们所需要的营养成分,含20多种氨基酸和20多种矿物质及多种维生素。因
三点相关函数是天文学中主要的宇宙模拟算法之一,如何对其进行高效的计算一直是困扰天文学家的难题之一。本文基于对FFT三点相关算法的研究,为改进该算法计算精度不足和面对海
随着政府部门政务信息化程度的进一步提升,大量的信息开始以电子数据的形式存储起来,并被信息系统统一管理。但大量的文本信息仍以文档的形式被使用,文档中大部分的信息未能被深
随着信息技术的发展,数据流模型已成为诸多应用的常用模型,其固有特点也致使传统聚类算法在此模型上面临严峻挑战。其次,一系列数据流聚类算法虽相继被提出,但仍存在诸多不足,如现
随着计算机网络的发展,在当今的社会中计算机网络已经被广泛的应用到我们的各个领域中,像工业领域,科研机构,政府部门,金融经济都有各自特定的网络,甚至于整个普通的社会群体生活也
有线网中广泛使用的传输层协议应用于MANET等无线网络时,其性能问题是亟待解决的一个关键问题,为了解决该问题,研究者提出了链路层ARQ、分段连接、显示拥塞通知、基于网络状态的
随着以互联网为基础的各种大规模开放应用系统(如普适计算、云技术、P2P计算和Web服务等)的相继出现和应用,信任管理的研究逐渐成为信息安全研究领域中的热点。开放系统中的信