Hadoop分布式计算框架有效解决了大规模数据并行处理中数据的存储与计算问题,集群资源分配及调度方式对于提高系统的整体性能具有重大的现实意义。目前,相关学者在提高数据本地化,作业完成时间,系统吞吐量等方面提出了各种启发式算法来改善系统的整体性能。然而大部分启发式算法在调度过程中采用贪心策略去调度任务,对于任务缺乏整体性规划,而且由于数据分布式存放在集群中,Shuffle阶段仍会产生网络拥塞造成作业完成时间的延迟。随着数据量的急剧增长,合理的分配及利用资源、释放顶层带宽并加快作业的完成速度是目前面临的新挑战。另外,现实生活中部分用户对于作业有截止时间的要求,现有算法没有考虑到作业不同完成时间产生的不同收益问题,即作业对于截止时间的敏感程度不同。本文针对以上两方面问题,分别设计了调度算法去解决。研究的重点:1.资源分配策略;2.作业调度方法。以上两方面的好坏直接影响平台的整体性能和系统资源的利用率。在现实生活中存在许多重复性的工作具有可预测的属性特征,通过建立相应的模型可以对作业的执行时间进行预测。另外,在研究过程中发现作业调度与矩形条装箱问题有许多相似之处,不同点是任务矩形条的形状会随着分配资源的不同而改变,我们称之为弹性作业。本文首次将集群资源调度问题转化为可变的任务矩形条装箱问题,设计了弹性作业装箱算法(Flexible Job Bin Packing algorithm,简称FJBP)。同时本文结合遗传算法,进一步优化解集。针对作业的截止时间不同敏感性问题,本文首先将作业根据敏感程度进行了分类,设计了既考虑作业紧急程度又考虑作业预执行收益的一种作业弹性与截止时间感知的调度算法(elasticity and Deadline Aware job scheduling algorithm,简称DA)。在Matlab仿真的环境下验证了本文算法的优势。FJBP算法缩短了作业的整体完成时间,提高了系统资源利用率,释放了顶层带宽且一定程度上减少了网络拥塞。DA算法在作业执行前会去衡量作业执行的综合收益,优先选择收益大的去执行。实验表明整体收益平均提高了2.37倍。