基于Pregel-Like架构的并行图挖掘平台研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:liongliong477
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图作为非结构化数据中的一种重要的类型,比线性表和树结构在语义和结构方面都有更强的表示能力。很多现实世界中的问题都可以用图来表示,对图数据的处理以及相关的应用无处不在。而随着信息爆炸型增长及社会网络的大力发展,需要处理的图数据的规模与日俱增,这对大规模图的高效处理提出了巨大挑战。云计算是处理海量数据挖掘任务、提升海量数据挖掘能力的有效手段之一,本文正是以这个思路为出发点,设计并实现了一个基于Pregel-Like架构的并行图挖掘平台。底层云存储架构选择HDFS(Hadoop Distributed File System),可以为大规模图的存储提供高效、安全、高容错的支持。云计算框架使用BSP(Bulk Synchronous Parallel model)模型,其特有的超级步非常适合需要迭代计算的图算法,使得对大规模图数据的分析成为可能。平台集成了各类图挖掘算法,并对各算法分析结果及网络拓扑结构提供了可视化展示。本文的主要工作是通过对经典图挖掘算法及相关改进算法的调研,在底层框架的基础上设计并实现了图属性分析和图排序中对经典重要算法的改进算法,并结合实际数据集对经典算法及改进算法的结果做了对比,最后提出了一种新的图聚类算法。具体内容如下:1)设计并实现了 K-shell分解和半局部中心性两种图属性并行算法,两者相比于度值可以更好地刻画节点重要性,计算复杂度又要比介数的计算低,基于公共数据集分析了两者的分布及与度的相关分布。2)设计并实现了 LeaderRank 和 SALSA(Stochastic Approach for Link Structure Analysis)两种图排序算法,前者相比于PageRank算法收敛更快,能够更好地识别有影响力的节点,且抗干扰能力强。后者相比于 HITS(Hypertext-Induced Topic Search)算法,其 hub 值能更好地衡量节点传播能力。3)提出了一种基于K-shell值的社团发现算法,通过K-shell分解缩小网络规模提高运行效率,根据“基准”网络验证了正确性。
其他文献
能源短缺已经成为世界各国共同关注的问题,由于排放法规测试循环的不断升级,尤其是在引进了实际道路行驶排放试验(RDE)之后,这意味着过去对于发动机稳态性能的开发与研究不能很好地适应更加严格的排放法规的挑战,因此针对发动机瞬态工况的测试尤其是深入研究在整车匹配状态下的发动机工作性能对改善整车的燃油经济性和排放特性是十分必要且有意义的。本文通过建立整车模拟测试平台对发动机在整车匹配状态下瞬态工况的测试进
介绍了内陆河流水体跨越管道溢油模拟技术与基本流程,以西北地区某河段油品跨越管道为研究对象,分析发生管道泄漏突发溢油事故的风险,考虑丰/枯水期、强/静风、泄漏位置等影
数学课程标准强调课程内容的改革和实施要密切联系学生生活和经验,加强课程与生活实践的联系。在一些数学课堂教学中,如果教师仅仅局限于用数学语言来解释数学的知识点,学生往往
随着共享单车的兴起,越来越多的人加入到低碳环保,绿色出行的队伍中。弹力紧身裤利用其紧身贴体、修饰女子形体美等特性,深受广大女性的喜爱,因此在日常生活中经常会遇到穿着
通过室内实验研究金属铁锈对聚合物黏度的影响、污水中二价铁离子对聚合物黏度的影响、污水中三价铁离子对聚合物黏度的影响,通过在采出污水中加入污水处理剂、曝氧、加入一
随着互联网的不断发展,在SOC片上系统实现网络通信协议已经成为一种趋势。本文的系统设计基于自主设计的SOC板卡实现了一种应用于混合网络的以太网控制系统。混合网络系统将以太网通信与光纤通道网络结合,发挥以太网价格低廉和光纤通道网络传输速率快的优势。本文首先对以太网协议、SOC片上系统、以及uIP协议栈的背景进行了阐述,随后对以太网协议的发展和MAC协议在国内外的研究现状进行了调研,之后针对以太网通信
在HNO3-H2O2-HF混合无机酸体系下,通过微波消解方式对油田化学剂样品进行完全消解。采用电感耦合等离子体质谱法测定油田化学剂中Cr、As、Cd、Pb四种元素,该方法线性关系良好
在当代人类面临着能源危机与环境污染的双重危机与挑战。基于城市污水培养微藻生产生物柴油,可以在实现在微藻深度处理污水的同时,以污水为资源制备微藻生物柴油。微藻油脂提取是整个产业链中耗能最多的一环,其中细胞破壁过程是微藻提油技术的攻关难点。本课题创新性地将水蚤摄食消化微藻这一现象应用到微藻破壁过程中,其目的是获得一种高效且低能耗的微藻破壁技术,并与低毒有机溶剂萃取相结合建立一套完整的具有应用前景的湿法