随着计算机技术与移动互联网技术的蓬勃发展,我们已经进入了一个数据量爆炸性增长的年代。社交网络、电商交易、互联网金融、生物健康等等这些各行各业的社会活动正在源源不断的产生大量的结构复杂的数据资源。人们希望能够从这些大量的与用户行为密切相关的数据资源中得到有用的信息,从而改善人们的生活方式,提升生活品质。在如此强烈的市场需求下,Hadoop作为一种先进的大数据处理工具,已经逐渐被应用于各个领域,帮助企业完成各类的大数据处理需求。然而,随着集群规模的增长,如何高效的管理Hadoop集群,保证集群稳定运转,提升集群的性能表现,已经成为众多Hadoop用户所面临的一个大问题。本文首先介绍了Hadoop的基本概念,对当前主要的分布式监控系统以及Hadoop监控技术进行了概述,详细介绍了Hadoop分布式计算平台监控系统的功能需求,架构设计以及关键技术核心。然后,本文针对几个典型的MapReduce测试应用,分析了不同类别的MapReduce作业的资源消耗模式,提出了对应的性能优化措施,以帮助用户提高MapReduce’性能,提升集群的资源使用效率。最后,在性能调优的基础上,本文提出了MapReduce作业的时间预测模型。通过该模型,用户可以预先在小的测试数据集上运行目标作业,通过分析作业的输出日志,得到作业的性能标识向量,进而实现对大的数据集上作业运行时间的预估。