随着大数据时代的到来,云计算技术的发展极为迅速,Hadoop平台作为云计算技术的核心实现,也得到了广泛的应用和发展。Hadoop平台通过网络互连将大量的计算机连接成为一个集群,用户可以通过客户端向集群提交作业来完成实际的应用需求。资源调度器作为Hadoop平台的核心组件,采取特定的调度算法对用户提交的作业进行资源分配和调度执行,调度算法的优劣直接影响着整个集群的性能,决定着为用户提供的服务质量。因此对Hadoop平台作业调度算法的研究和改进非常重要。本文通过研究Hadoop YARN内建的三种作业调度算法,指出其不足,从而在此基础上提出了一种新的算法,称为Dependency Scheduler。本算法主要针对Hadoop集群的资源使用率进行了优化,并着重考虑了Map Reduce作业的map任务和reduce任务之间的依赖性问题,通过初始任务选择和实时任务选择两个阶段,调度任务的执行,最终达到最优化使用集群资源和最小化MapReduce作业集完成时间的目标。最后通过自主搭建Hadoop集群来做性能比对,实验使用了四种标准的测试程序作为工作负载,从节点CPU使用率、节点内存使用率及作业集完成时间三个方面,将本文提出的Dependency Scheduler算法与Hadoop YARN内建的三种算法进行比较。实验结果证明,相比之下,本文提出的Dependency Scheduler算法在资源利用率和作业集完成时间两个方面的性能得到明显提升。