Mapreduce计算框架在Hadoop平台上现有的资源管理模式存在着诸多问题,在hadoop平台被各行业广泛应用和不断改进的过程中这些问题逐渐凸显。在实际生产环境中,Hadoop YARN(Yet Anouther Resource Negotiator)现有的资源调度管理机制存在的问题逐渐凸显。一方面,现有资源管理机制没有将集群的负载多样性和节点计算能力差异纳入考量,为不同节点上的不同负载任务分配相同的定额资源,造成资源的浪费;另一方面,YARN中用于封装资源的资源容器设计不合理使集群用户很难合理使用容器。针对Hadoop集群资源管理中存在的这些问题,提出了一种基于数据压缩比的MapReduce资源管理策略,该资源管理策略以数据压缩比作为负载的基本特征,收集集群运行中产生的负载历史信息,利用机器学习模型来预测和分析负载特征,使用任务级的资源调度器为不同特性的负载选择相应的任务级资源调度策略;提升资源利用率的同时,优化了负载的时间性能。同时引入了弹性容器的概念,利用对集群节点性能的监控和评估,控制相应节点上的并发度,避免部分节点出现性能瓶颈。此外对容器的资源监控作出优化,允许资源容器偶发式的超量资源使用,避免了严格监控带来的负载重复执行和资源浪费。使用bigdata benchmark的多种测试样例开展多项性能测试,结果表明部署了该资源管理策略和弹性容器后的Hadoop系统能够有效增加节点的任务并发度、减少磁盘I/O请求,对负载的时间性能有明显的提升,同时减少了集群资源的浪费。在Hadoop 2.7平台上的测试结果显示,所提出的资源管理策略可以使作业的响应时间性能提升15%到40%,集群资源利用率提高了167%的同时节点的任务并发度是原生Hadoop集群的2到3倍。