大数据时代的到来,为深度学习的发展迎来了新的契机,不断增加的样本量使深度学习模型预测的准确率不断提高。但问题也随之而来,随着模型结构的复杂度和参数量的增加,训练时间也不断变长,即使使用GPU也逐渐无法满足速度上的要求,因此单机情况下的空间容量不足和训练周期长等问题,受到了研究人员越来越多的关注。为了解决单机情况下空间容量不足和训练周期长的问题,本文通过数据转换、数据切分、梯度累加、稀疏化压缩等技术将Flink大数据计算框架和Pytorch深度学习框架进行深度融合,利用Pytorch快速构建神经网络的优势和Flink并行计算以及集群资源调度的优势,将集群资源调度和分布式训练有效的结合,设计并实现了一套全新的分布式深度学习训练系统。同时,针对参数服务器存在的单点故障问题,提出使用zookeeper实现主备切换。针对集群主节点压力过大问题提出地址分发模式,极大的缓解了内存压力。针对残差梯度稀疏化算法阈值动态变化问题,提出使用正态分布曲线面积计算阈值。针对同步更新存在的木桶效应问题和异步更新存在的梯度过期问题,提出分组更新架构,在异步和同步之间取一个折中的方案使之既不会过度等待也不会准确率过低。最后通过实验对比表明上述方法降低了内存的占用情况,提升了模型训练速度,缓解了延迟时间和减少了梯度过期的节点数量,提高了预测的准确率。