伴随着信息时代到来的是海量的数据信息,在被称为“大数据”时代的21世纪,大数据的处理成为了这个时代的难题。目前,分布式计算机技术是处理大数据的主流方式,通过建立分布式集群,能让分布式系统获得堪比超级计算机的运算能力,而且分布式系统的计算和存储能力还会随着集群的扩展而不断提升。但是,内存容量不足一直是制约分布式系统性能的一大因素,但随着内存制造工艺的发展提高,一种新型的基于内存计算技术的分布式框架——Spark,应运而生。Spark在处理迭代式机器学习运算和交互式实时查询操作时,所获得的性能远超其他分布式框架。然而,内存容量始终要比数据的规模小得多,在内存不足时,Spark会遭遇到性能瓶颈。如何高效地使用内存,成为了提升Spark系统性能的关键问题。为了解决这个难题,本课题设计了一种自适应的内存调优策略。这种自适应调优策略主要分为三个部分:首先,是针对数据序列化算法的自适应优化策略。数据序列化是分布式系统中常用的优化方式,与系统性能的优劣密切相关。序列化方法在节省存储空间的同时,还能减轻系统垃圾回收的压力。同时,数据要在分布式集群各个节点间传输,也必须要进行序列化操作。序列化自适应策略通过当前系统的资源消耗情况,来选择合适的序列化算法。其次,是数据压缩算法的的自适应优化策略。压缩算法可将数据压缩至原来的几分之一,甚至十几分之一,相比于序列化方法,更能节省系统存储空间。但是,每种不同的压缩算法之间,也是存在差异的。自适应算法会根据系统情况选择合适的压缩算法。最后,是垃圾回收的自适应优化策略。对于运行在JVM虚拟机上的Spark分布式框架来说,JVM的性能优劣直接关系到了整个系统的性能好坏。自适应算法通过收集和分析系统当前系统信息,进行垃圾回收的调优。在设计部分,通过对Spark源代码的添加和修改,本课题在原生的Spark系统上实现了SATS(Spark Adaptive Tuning Strategy)子系统,系统分为三个模块:运行时数据收集模块、自适应决策模块和参数优化模块。实现部分对着三个模块的实现细节进行了详细描述。在实验部分,详细的分析了实验结果,并验证了条有策略的有效性。