基于并行图划分的大数据处理算法研究与实现

来源 :华北电力大学(北京) | 被引量 : 0次 | 上传用户:abc123student
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的日益兴盛,互联网上的数据规模越来越大,而且数据变得也越来越复杂,怎样在海量的数据中获取有用的信息已经成为一个十分紧迫的问题。为了应对海量的数据处理分析,分布式计算平台应运而生。将数据放到分布式平台上存储,这样可以解决单台机器存储能力有限的问题,同时,分布式平台另一点好处是移动计算,数据被划分后放到多台机器上存储,利用这台机器的计算能力去处理本机存储的数据,集群并行处理数据,从而加速海量数据的处理。图数据计算是大数据处理的核心问题之一,平衡图划分是图计算中的一个难点。平衡图划分在社交网络、生物网络、道路网络等方面都有着十分广泛的应用。在过去的研究中,存在大量的图划分的算法,其中大多数的算法需要对全图进行遍历,分布式系统会将数据划分后放到多台机器上存储,遍历全图一定会加大数据通讯的代价,而遍历全图数据对当前超大规模的数据来说更是不切实际。2013年Rahimian发表的图划分算法是一个以单个顶点为处理单元,在计算中只需要访问该顶点的直接邻居顶点和少数的随机顶点,不需要全图访问,集群中各个机器之间的通信代价无疑是大大的降低了,从而提高算法的处理能力。性能好的图划分算法结合使用性更高的分布式平台,这无疑是大大的提升了算法的实用性。新的编程框架实现算法流程,不能够使用原有算法的思路,要根据新的计算框架重新设计,这里面会涉及到内存问题,算法流程设计等等。根据图的属性加入了关系发现能力,使得算法得到的划分结果中关系发现能力上升。在保证图划分算法能够得到一个很好的割边的前提下,本文提出了基于MapReduce编程模型实现的并行图划分算法,并且在划分中加入了子图关系能力的计算。本文的最后,利用不同的数据集和并行算法性的性能评测手段,对该并行算法的加速比、可扩展性、规模增长性进行评估,验证了算法的有效性和准确性。
其他文献
耐甲氧西林金黄色葡萄球菌(MRSA)是肉类生产链中的重要致病菌,并且大量存在于养殖环境中,可通过食物链感染人类,造成严重的公共卫生问题。本研究以山西某育肥羊场及其定点屠宰车间为试验地,以5%的绵羊血琼脂培养基为采样基质,分别采集羊舍内、舍外空气,圈舍围栏、用具、羊鼻腔及粪土饲料,屠宰车间内空气、屠宰用具、宰后羊胴体、屠宰人员鼻腔及屠宰车间污水。通过细菌分离、培养、16S r DNA鉴定、苯唑西林和
目的:探讨瑞香素(DAP)联合5-aza-Dc和Bcl-2-miRNA干扰质粒诱导CIA大鼠滑膜细胞凋亡的机制,进一步探索DAP联合5-aza-Dc和Bcl-2-miRNA干扰质粒治疗RA的可能机制,为DAP的药用开
快速高灵敏地检测葡萄糖在医疗诊断和食品工业等领域有重要的研究意义。葡萄糖氧化酶的高成本、易失活、固定化过程复杂限制了酶基电化学传感器的发展,因而开发低成本、高性能的无酶葡萄糖传感器至关重要。提高无酶葡萄糖电化学传感器性能的关键在于制备具有高活性、高导电性的新型电极材料。单一的基于镍和钴的氧化物纳米材料催化性能受限,本论文引入具有超薄厚度、高比表面积、优良导电性和丰富活性位点的新兴二维纳米材料作为载
随着时代的发展,人类社会的生活物质水平的提高,从一定程度上影响了人类的审美取向。在这飞速发展的生活社会中,造成了人们追求自然,对生活返璞归真的人生态度。同时,人们对
发展以三维激光检测技术为代表的路面自动化检测技术,是解决我国当前在路面技术状态监测,状况评价,养护维修领域面临的道路养护里程巨大、评价指标精度不足、技术人员成本昂贵等问题的必由之路。现阶段,道路管养部门把基于三维激光检测技术的车载检测系统应用在国省干线道路的路面技术指标及病害检测中的试点工作已经展开,但受限于三维激光技术的高技术门槛,推广工作举步维艰,究其原因仍在于目前尚无一款能被检测市场广泛接受
本翻译实践报告基于以《项目规划、管理及控制(第六版)》(第九到第十四章)为原文的翻译实践,总结了译者如何在奈达的“动态对等”以及韦努蒂的“归化”理论的指导下,运用恰当
人力资源管理中绩效管理占有核心地位,组织的整体运作效率和价值创造与组织和个人绩效水平息息相关。管理者的一项重要常规工作就是权衡和提升组织、部门以及员工个人的绩效
在教育教学改革不断深化的今天,高校教师职业倦怠日益严重化,越来越受到学术界的关注的重视,据了解,虽然大部分高校教师认为自身职业是稳定职业,具有较高认可度与满意度,但仍有部分在高校教学工作过程中感到力不从心。高校教师扮演人师角色的同时扮演经师角色,是立德树人的重要力量,另外,还是学校科学研究的主要实施人员,其工作态度与热情不仅直接关系到教育的质量,同时还对学校的建设发展有着至关重要的影响。综合考虑上
目标跟踪是计算机视觉研究领域的一个重要研究方向。目标跟踪问题事实上就是典型的目标状态滤波估计问题,在人工智能、视频监控、军事等许多领域都有着十分广泛的应用。近年
航空航天环境下介质材料存在静电放电现象,无论是沿介质真空界面的沿面闪络或是介质内部局部场强畸变导致的击穿,都与介质表面电位分布特性相关。电子辐照,高真空和温度循环等多种空间环境因素的耦合作用使得介质的电荷输运的特性及机制愈加复杂,通过仿真计算的方法获得空间环境下介质表面电位分布状况难以实现。因此,研制一套联合电子辐照和温度循环条件下的介质材料表面电位测量系统对于揭示空间环境下介质电位分布特性具有非