由于GPU强大的计算能力,其已经成为训练神经网络的首选设备。随着神经网络变得更宽更深,网络模型的准确性得到提升,但是训练这些神经网络需要的GPU内存空间也越来越大。有限的GPU内存容量成为训练更深更宽神经网络的主要障碍。为了解决GPU内存不足的问题,研究人员提出了交换数据到主存和重计算等方法,这些方法使得在前向传播过程中,GPU内存中只保留部分层的输出结果。然而这些方法对层之间的数据依赖关系缺乏深入分析,且对瓶颈层缺乏训练支持。针对这些问题,提出了充分利用重计算节省GPU内存开销的深度学习系统MEDL,其基于重计算的GPU内存管理器分别对非线性和线性神经网络提供GPU内存优化方法。在非线性网络中,通过空间重用和活跃度分析取消将工具层的前向输出结果作为检查点的必要性,工具层的输出所占的GPU内存空间在前向传播中可以直接被释放,从而大量减少使用重计算方法训练非线性神经网络时的内存需求。在线性网络中,通过细粒度的双缓冲技术减少瓶颈层的内存开销,使更宽的神经网络能够在有限的GPU内存中进行训练。实验结果表明,系统MEDL可以在有限的GPU内存中训练更深更宽的神经网络。在相同的实验环境下,与现有的深度学习系统相比,MEDL的内存消耗平均降低了27.5%,而且具有10.9%的性能提升。当不断增加训练的批次大小以至于传统的系统不能训练时,MEDL仍能正常训练。