基于改进Hadoop的大规模图处理系统的设计与实现

来源 :辽宁大学 | 被引量 : 1次 | 上传用户:cyydn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
“智能交通”和“社交网络”越来越普及,然而如何处理这些领域背后复杂图结构的问题迫在眉睫。比如,在“智能交通”中,如何计算两点之间的最短路径则可以抽象成计算大规模图中两点之间的最短路径,在“社交网络”中判断两个用户之间是否有社交关系则可以抽象为计算两个点在大规模图中是否可达等等。随着“大数据”和“云计算”的发展,图规模的结构变得越来越庞大,单个计算机节点根本无法存储大规模图结构,因此分布式存储架构被提出。对于图计算目前集中在两个计算模型中,一个是MapReduce模型,该模型将图计算分解成map阶段和reduce阶段,实现MapReduce模型的分布式框架是著名的Hadoop;另一个图计算模型是BSP模型,实现该模型的分布式框架是Hama,通过对二者的特点进行对比发现,MapReduce具有较高的抽象性和通用性,接口非常成熟,易于编程实现,但是并不支持显式的迭代和实时性计算,而BSP模型引入“超步”的概念,可以加速计算,但是却对集群中计算节点的内存性能要求比较高。因此本文将结合二者的优点对Hadoop进行改进,结合“MapReduce模型+BSP模型”的特点,使Hadoop成为一个可以进行显式迭代的图处理分布式框架。目前已经有人在Hadoop第一代上进行改进并成功的支持了显式的迭代,较好的提高了效率,但是目前第一代Hadoop用户量已经很少,Hadoop第二代通过引入Yarn较好的解决了第一代存在的两个问题。第一,扩展性问题,JobTracker兼有的资源管理功能和作业控制功能将成为制约系统扩展的瓶颈;第二,单点故障问题,JobTracker存在单点故障,出现问题之后将导致整个集群不可用;因此本文将着手在第二代Hadoop上对其进行改进,同时在改进Hadoop框架的基础上,本文实现了单源最短路径算法、可达查询算法和时间序列图中最优路径算法,将大规模图处理系统进行发布,供用户进行使用,对于研究图计算的研究人员来说将具有非常重要的价值和意义。
其他文献
软包锂电池因其性能优越,市场占有率正快速增长,但其外壳采用铝塑膜,质地很软,很容易受到损伤,严重的甚至会引发火灾,因此在其生产过程中对表面缺陷进行检测并筛选出不良品成
目前,火力发电仍是我国电力生产中的主力,随着电力企业对节能降耗问题的重视,如何通过对发电环节的优化控制,提高机组控制的精准性和能源利用率是电力企业亟待解决的问题。对
随着中国畜牧业的集约化、规模化发展,畜禽粪便的合理处理和资源化利用成为保证生态环境稳定、能源发展和保护食品安全重要的课题。厌氧发酵是广泛运用的畜禽粪便资源化利用
质子交换膜燃料电池(PEMFC)由于具有很多的优点,包括功率密度高、能量转换效率高、清洁无污染、可靠性高和噪音小等,因此被用来作为能量转换装置,并取得了高速发展。但是PEMF
传统单机仿真平台缺乏统一的资源管理,对单机系统要求较高,复杂仿真过程中生成的海量数据,如仿真中间数据,不能进行集中有效管理,而这些仿真数据对于产品研发是非常宝贵的参考资料。本文把云计算技术和仿真设计、仿真计算以及数据管理相结合,打通计算层、存储层以及调度层的数据接口,整合现有软硬件资源,提供统一的资源的调度和管理机制,实现设计经验的规范化保存和资源的统一管理。本文主要研究内容如下:1.云仿真平台架
在当今社会,随着奶牛对代谢性、感染性和炎性疾病易感性的增加,奶牛养殖业承受着巨大的压力。乳腺炎仍然是奶牛在泌乳期最常见的炎性疾病,导致乳汁产量减少、品质下降、治疗
对同一场景同时进行多波段探测成像是新一代高精度探测系统的主要技术特征之一,其目的在于综合利用不同波段探测的互补信息,以获得对场景更全面、更准确的解译。在现有图像融合研究中,模型驱动融合法需依赖大量先验知识,导致算法泛化能力差,不能自适应融合。相比之下,基于深度学习的融合法凭借其优异的特征提取能力和高精度学习能力成为了当下的研究热点。但目前深度学习融合法除同步融合数量少不能满足多波段探测系统的要求外
研究背景和目的急性肠系膜缺血(Acute mesenteric ischemia,AMI)是一种罕见、危及生命的腹部外科急症,特别是对于继发不可逆性透壁性肠坏死(Transmural intestinal necrosis,
十九大报告明确提出,要深化国有企业改革,做强做优做大国有资本,培育具有全球竞争力的世界一流企业。国有企业的收益分配问题是国企改革的重要内容,作为国有资本财务监管方式与手段之一,建立国有资本收益收取制度(即红利上缴制度)是实现国企内部资源合理配置的重要机制,对于完善国企治理结构、提升国企经营管理水平和提高国企资源配置效率不可或缺。国有企业是促进我国经济高质量发展的重要力量,国企创新能力的提升将对国家
圆管支撑钢板仓组合剪力墙是一种新型组合构件,由一块U型钢板、一块一字型钢板和若干圆管支撑焊接组成钢板仓,并在仓内浇筑混凝土制成。钢板仓组合剪力墙具有钢板薄、自重轻