随着互联网技术的高速发展,各式各样的互联网产品进入了人们的生活,用户行为的堆积形成了海量数据,与此同时,海量数据本身的规模属性和结构特征给数据处理带来了新的挑战。Spark作为快速通用的分布式计算引擎,广泛应用于大数据处理中,其基于内存的计算方式提升了系统的性能,而Shuffle过程仍然存在着资源利用率低和分区数据偏斜的问题。本文针对Spark框架中的不足之处,对Spark Shuffle过程中的优化技术进行研究。为了解决分布式数据处理框架Spark中的Shuffle性能问题,本文对资源利用率和均衡分区两方面进行综合考虑,提出了一个Shuffle优化策略DAGP（Dynamic adjustment of granularity and partition strategy）。它包含三个部分:中间数据采样、计算粒度调整和均衡分区策略。首先,本文提出了一种基于重要性的采样算法,在生成采样步长的过程中,对有采样偏向性的key加入重要性参数,使得该步长更容易被此次采样接受,并基于采样结果将出现频次高的key定义为高权重key。其次,本文提出了一种计算粒度调整算法,根据采样数据中键值对的数量特征和集群资源情况,采用改变当前stage分区数目的方式对计算粒度进行调整,减少CPU处于空闲状态的可能性,提高集群的资源利用率。最后,通过分析采样数据对中间数据的分布情况进行预测,对不同类型权重的key进行了差异化处理,提出了均衡分区策略,其中包括针对高权重key的分区算法HWKP（High weight key partitioner）和针对低权重key的分区算法LWKP（Low weight key partitioner）,该分区策略基于加权轮询和高效哈希的思想对Shuffle后的数据进行了重新分区,有效减缓了数据偏斜问题,达到负载均衡的目的。最后,为了重用分布计算框架中已有的任务调度和内存管理机制,本文选择将DAGP集成到现有的分布式计算框架中。本文在分布式计算框架Spark下实现了DAGP,验证了重要性采样和计算粒度调整算法的有效性,并通过三组广泛使用的基准测试Word Count、Join和Page Rank来评估DAGP的性能和执行时间。实验结果表明,该策略能有效地缓解大数据量计算中的数据偏斜问题,分区间的数据偏斜减少了25%,并且在基准测试中,显著缩短整个应用程序的处理时间达30%。