近年来,深度学习技术飞速发展,尤其是在大规模数据集的推动下,分布式深度学习系统在学术界和工业界获得了广泛应用。分布式深度学习系统普遍采用同步数据并行来训练模型。同步随机梯度下降（SSGD）作为最常用的分布式同步数据并行训练算法,其在每次一迭代中都涉及网络通信。然而,通信开销在通信带宽受限的分布式环境中是昂贵的。为了降低通信开销,一种直观的方式是增大通信间隔,即不是每一次迭代中都进行通信,而是每隔若干次迭代才进行一次通信。但是,增大通信间隔通常会影响模型收敛的速度,导致训练算法需要更多轮（Epoch）才能将模型训练到目标准确率,即降低了训练算法的统计效率。此外,通信间隔的选择直接决定了训练算法的性能,而现有的通信间隔选择方法引入了昂贵的采集统计信息或调节超参数的额外开销。针对上述分布式同步数据并行训练算法和通信间隔选择方法中存在的问题,本文重点研究兼具低通信开销和高统计效率的分布式同步数据并行训练算法,以及具有低额外开销的通信间隔选择方法。围绕这些研究内容,本文的主要贡献有如下三点:提出了一种结合跳过通信策略和纠正技术的训练算法,保证了低通信开销和高统计效率。该训练算法通过在每个训练进程中进行本地更新保持了小的批量大小,并采用纠正技术降低了各个本地模型之间的发散程度,从而保证了高的统计效率。同时,该训练算法采用跳过通信策略来更新全局模型,即不是每一次迭代都对全局模型进行更新,而是每隔若干次迭代才对全局模型进行一次更新。这降低了通信的频率,从而保证了低的通信开销。设计了一种基于第一次迭代运行时统计信息的自适应通信间隔策略,降低了通信间隔选择的额外开销。该自适应通信间隔策略初始化通信间隔为1,并在第一次迭代中收集用于通信和计算的时间,然后基于这些收集的信息对通信间隔进行调整,以使每一轮中的通信时间和计算时间是相近的。在第一次迭代中完成通信间隔的调整后,该通信间隔应用于后续所有的迭代之中。后续迭代中不再进行统计信息的采集以及通信间隔的调整,从而保证了低的额外开销。实现了一个采用上述结合跳过通信策略和纠正技术的训练算法以及自适应通信间隔策略的原型系统。本文基于分布式深度学习系统Tensor Flow实现了上述结合跳过通信策略和纠正技术的训练算法以及自适应通信间隔策略,验证了该训练算法和通信间隔策略的有效性,并阐述了相应原型系统的设计思路。综上所述,本文针对分布式同步数据并行训练的高通信开销问题,提出了通信优化的训练算法与调优策略,并实现了一个原型系统。实验结果显示了上述通信优化技术的有效性,具体来说,结合跳过通信策略和纠正技术的训练算法比SSGD训练算法降低了88.9%的总训练时间,自适应通信间隔策略比现有的通信间隔选择策略降低了三个数量级的额外开销。