随着神经网络模型的加宽和加深,以及数据集规模的增大,传统的单机式深度学习训练已不能满足实际应用的需求。为实现高效训练,分布式深度学习成为必须。然而,分布式深度学习中高额的通信开销,也带来了新的挑战。成为当前的研究热点和难点。为了解决高通信开销导致的训练效率降低的问题,基于梯度参数的特性,提出基于量化和压缩的优化传输方法——固定指数压缩法。基于大梯度值有利于收敛的规律,传输绝对值较大的那些梯度,能大幅提高分布式深度学习的通信效率。在固定指数压缩算法中,主要使用了三种优化策略:第一,根据指定的指数阈值过滤梯度参数,大于或等于阈值的部分将被传送,这一步可以增加梯度数据的稀疏性。第二,对过滤后的梯度,使用5-bit量化将每个32位浮点数压缩到5位。为使量化计算更高效,使用多线程的并行计算实现5-bit,大幅提高了量化的效率。同时,将5-bit量化输出的5位分成1位和4位分开存储,提高空间利用率。第三,由于梯度参数的稀疏度增加,对连续的零使用零压缩算法,进一步减少传输的参数量。上述算法在MXNet系统上实现,并使用多种神经网络训练MNIST、CIFAR10、CIFAR100及ImageNet-1K四种数据集。实验结果对比不适用任何压缩算法的基线以及MXNet中的2Bit压缩方法。在梯度压缩率方面,固定指数压缩法达到了16.3~23.3倍的压缩率,高于2Bit固定的16倍压缩率。在训练效率方面,固定指数压缩法比基线加速1.18~3.34倍。与此同时,固定指数压缩法的收敛和基线基本吻合。相比2Bit,收敛的稳定性和准确率都更优。