论文部分内容阅读
与传统的分布式计算不同,分布式机器学习更加关注参数同步和梯度同步,网络通信是最大的瓶颈.许多研究者针对网络问题提出了多种解决方法.首先介绍了机器学习领域内最热门的深度神经网络的发展背景,然后分别对数据并行模型中参数同步步调和参数同步方法进行了详细的概述,最后对分布式机器学习的发展趋势和面临的挑战进行了讨论.