人工智能(Artificial Intelligence,AI)技术经过多年的积累变得日益成熟,其应用领域也不断扩大。其中基于人工神经网络(Neural Network)的深度学习(Deep Learning)技术由于突出的效果而成为了这一领域中的研究热点。随着深度学习研究的展开,神经网络模型逐渐变得更为复杂,用于训练的样本数据规模也在不断增长。由于神经网络的参数特性,通常用于训练的数据越多,训练迭代次数越多,最终训练得到的效果越好,而这些均会导致计算量的增加,最终极大地延长了完成训练所需要的时间。本文基于多节点的CPU+GPU计算平台,针对深度学习框架在分布式训练运行时系统方面的设计进行改进和优化,从而提升大规模深度学习训练的效果,提高计算集群资源利用率,缩短训练耗时。本文的主要内容和成果包括:1.针对开源深度学习框架TensorFlow完成了从TCP/IP到RDMA的移植与优化,提高了分布式环境中不同节点之间的数据传输带宽。本文首先基于Ten-sorFlow中采用的gRPC通信框架进行RDMA移植。随后在TensorFlow框架中更进一步地直接将数据传输部分修改为RDMA实现,最终测试中优化后的Ten-sorFlow 在节点间数据传输时能够达到硬件所能提供的极限带宽。基于优化过程中得到的工程经验,本文最后完成了一套独立的RDMA通信框架,以方便其他同样需求的应用可以得到快速的移植和优化。2.针对分布式数据并行的计算和通信模式设计并实现了多种优化方案,使得分布式深度学习训练得以高效地完成。本文主要采用软件流水线方案来掩盖参数同步造成的数据延迟,配合混合精度训练方案进一步提高神经网络在GPU卡上的训练速度,最后修正了批次归一化方法在分布式环境中存在的问题,对优化算法和超参数进行了一系列调整。最终本文的优化方案在ImageNet数据集中得到了很好的验证效果。本文的部分研究报告及成果已开源,并得到了开源社区中一些开发者的关注。同时,本文的研究结论将为国产处理器环境中分布式深度学习训练的性能优化提供参考。