云计算中MapReduce的性能优化研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:fuchengjun007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的快速发展和普及应用,大规模的数据处理需求日益增加,传统的并行计算机在存储空间和计算资源方面难以满足海量数据处理的需求,因此云计算技术为解决海量数据处理提供了良好的环境。MapReduce编程模型为云计算进行海量数据处理提供了新的思路,它克服了传统分布式并行程序编写复杂的缺点,提供了简化的编写方式。但是MapReduce编程模型的性能上仍然存在一些问题,因此本文从任务调度的角度对MapReduce的性能进行优化。本文研究的主要内容是:首先对云计算和Hadoop平台进行简单介绍,重点研究MapReduce计算模型和任务调度算法,在分析MapReduce调度算法不足的基础上,提出了蚁群模拟退火算法,在该算法中,以减少任务的完成时间和保证资源负载均衡为目标,根据蚁群算法构造局部最优解,将蚁群算法的局部最优解作为模拟退火算法的初始解进行全局搜索,并根据Metropolis准则判断是否接受当前解。针对MapReduce编程模型中的容错技术的缺点,本文提出引入失效恢复机制的可靠性任务调度策略,对云环境中的资源节点进行可信任度评估,建立可信任度模型,根据可信任度模型为任务分配可靠的节点,避免任务失败重新分配执行,浪费时间和资源。最后,通过仿真平台CloudSim验证了本文提出的任务调度算法和调度模型的有效性和稳定性。
其他文献
中医学是我国优秀的民族文化瑰宝,几千年的传承与沉淀,形成了较为完整的独特的理论体系,是中华民族几千年文明和智慧的结晶,为人类的繁衍与健康作出了极其重要的贡献,至今仍具有强
随着现代信息处理技术的发展,图书馆也向着自动化、网络化和数字化的方向发展。但是图书馆最基础的资源体系依然是馆藏文献资料,特别是纸质文献资料。由于采用人工对馆藏资料
在分析基于Adaboost人脸检测算法和JPEG2000压缩算法原理的基础上,针对视频图像数据量大,带宽相对低的现状,提出一种人脸检测和感兴趣区域编码相结合的视频监控方案,方案采用
随着云计算技术、云存储技术的发展,系统内部产生的数据量呈现出爆炸式的增长方式。在面对海量数据的存储与处理时,云计算技术以及云存储技术逐渐成为当前互联网技术中主流的
随着近年来计算机技术的不断发展,各式各样的Web应用程序迅速涌现,给人们的生活和办公带来极大的便利,人们的生活也越来越离不开网络。然而,各种资产和信息的网络化也引发了各种
随着软件复用和构件开发等技术的日趋成熟,基于构件的软件工程(CBSE, Componet-based Software Engineering)正改变着软件开发的模式,聚焦构件通过复用技术设计大型复杂的软
工业无线网络节点作为工业无线网络的基础和载体,其故障不但将直接影响网络本身的正常运行,而且作为过程无线控制系统和大型机械设备监控的基础,若不及时排除节点故障,将直接
计算机科学经过几十年的发展,对人们的生产、生活、工作、娱乐等方面产生了重大影响。随着个人电脑,智能设备,移动操作系统的广泛应用及普及,人们对于计算机的交互体验和操作
人脸检测问题的研究重点在于提高检测速度和降低误检率。Viola基于积分图像和AdaBoost算法的人脸检测方法是继Rowley人工神经网络方法之后的重大发展,微软研究院提出的FloatB
随着云计算和信息共享技术的不断发展和普及应用,传感器网络、Web应用服务、网络流量监控、入侵检测等应用领域出现了数据流形式的数据,数据流具有实时、突变、潜在无限、概