面向云计算的MapReduce并行编程模式的研究与应用

来源 :湖南大学 | 被引量 : 0次 | 上传用户:sheygy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高性能计算机的发展促使了高效能程序设计环境的产生与发展,尤其是并行编程模式的发展。一方面,由于并行机体系结构的多样性给并行程序的开发带来了很多困难,因此怎样简化并行编程提高开发效率成为了一个关键问题。另一方面,面向云环境,如何提高并行计算的能力以实现在海量数据中获取有价值的信息也成为了互联网中极需解决的问题。针对上述两个问题,Google公司研发了一种新的并行编程模型MapReduce,它在高抽象层次上以易使用和易理解的方式来简单高效地解决并行计算问题。论文在研究并行编程模型及其具体的并行程序开发模式的基础上,紧紧围绕云计算及其关键技术MapReduce并行编程模式展开研究,通过对MapReduce的实现框架、执行过程及其实现平台进行分析与应用,取得了以下研究成果:1、针对MapReduce缺乏一个快速高效的标准或规则来调整和优化其作业执行性能的问题,本文提出了提高MapReduce性能的几种技巧,先描述问题出现的状况,再提出具体的解决方法,最后在集群上进行测试实验,且给出了使用技巧前后的对比性测试数据,可给MapReduce作业的开发者提供帮助。2、通过对MapReduce模型执行过程的分析,针对单源最短路径算法难以随着云计算的产生和发展而得以广泛应用,其搜索效率也难以提高的问题,本文设计和实现了一种基于MapReduce框架的单源最短路径算法的并行方法,并基于Hadoop平台集群环境进行了研究与实验,且分别对该问题的并行加速比、效率及可扩放性进行了详细地测试,结果表明,文中算法可以有效地找出整个图结构中的单源最短路径,且验证了算法性能的优越性。
其他文献
传统的基于文本的图像检索存在耗费人力、信息不完整、歧义性等问题,促使了基于内容的图像检索的出现。基于内容的图像检索分为基于全局特征的方法和基于局部特征的方法。基
网络流量分类技术是互联网运营商对网络状况进行监督,进而对网络进行管理的重要手段。随着互联网技术的快速发展,在不增加网络带宽的情况下提升网络的性能成了亟待解决的问题。
多视图立体三维重建一直是计算机视觉领域最热门的研究问题之一,它的目标是通过拍摄物体的图片来自动的恢复具有真实感的物体三维模型。近年来,随着信息技术的不断发展,三维重建
随着GPU体系结构的发展和GPU编程模型的成熟,越来越多的应用程序采用了高性能GPU架构来开发。NVIDIA公司提出的CUDA编程模型,已经在业界取得了巨大成功,引起了学者们的广泛研究
随着互联网的迅猛发展和普及,宽带流媒体技术的出现,视频点播(Video on Demand,简称VOD)业务已经成为当今互联网的主流业务之一。传统视频点播系统基于客户端/服务器架构,虽然可控
多核处理器是处理器的发展趋势,根据系统的内核结构是否存在差异,多核处理器可分为同构多核和异构多核。同构多核存在一定的局限性:在系统达到极限值之后,性能就无法随着内核
随着万维网快速发展,深层网络中蕴含的信息日益增加。由于深层网络具有规模大、异构性、自治性等特点,如何使用户高效、快捷地获取自己满意的信息面临挑战。为了解决这一问题,需
无线传感器网络的诸多应用中,节点定位技术作为无线传感器网络的核心支撑技术之一,越来越受到重视,已经成为研究领域的一个热点。传感器节点之间位置的确定成为无线传感器网络应
主流的JavaScript引擎(如V8)都使用了类型特化技术来优化程序性能,这种技术需要在运行时预测各个程序点的变量的类型集合。但JavaScript语言的动态性会降低程序的类型可预测
视频人脸的检测与跟踪是计算机视觉与模式识别领域中一个核心课题,在视频监控、人机交互、视频会议、身份认证以及多媒体领域等方面有着广泛的应用价值。视频中人脸的处理主要