近年来人工智能技术取得了前所未有的高速发展,在很多领域内(比如互联网,自动驾驶等)扮演着不可或缺的角色。随着人工智能时代的到来,为了解决海量训练数据和场景复杂度高等诸多难题,更大规模的机器学习模型应运而生。大规模的机器学习模型往往具有更高准确性,同时也具备更强的表达能力,可以帮助人们解决难度较高的问题。然而,大规模的机器学习模型无可避免的将会使训练节点面临计算能力和存储的双重压力。模型计算复杂度高,会导致单机训练可能消耗无法接受的时长,机器学习模型的规模大,会导致单机的存储可能无法满足训练需求。因而使用分布式机器学习集群来完成训练任务变得至关重要。不同的并行化技术、集群架构和通信机制等都会对分布式机器学习集群的性能造成很大影响,如何更好地在分布式机器学习集群上面进行数据及模型的划分、存储和训练等是分布式机器学习面临的主要问题。不同模型在分布式集群上进行模型训练时可以使用不同的并行化技术,对于单机无法存储的大规模模型,只能使用模型并行方式进行训练,而目前分布式机器学习模型训练速度慢,模型参数规模大等依然是该领域面临的主要问题。针对这两个问题,本文首先从模型并行角度出发,详细分析了模型并行下机器学习模型的按层划分和跨层划分这两种分割方式及其对应的流量特性,并据此提出了模型并行下机器学习模型的分割优化策略MPOS。MPOS从模型不同层的通信特点、模型层构成关系两个方面出发,对模型分割后的子模型之间的计算能力和通信能力方面进行优化,旨在加快机器学习模型在分布式集群平台上的训练速度,降低模型训练时间。在实际平台部署后,根据测试结果,使用MPOS策略进行模型分割在训练时所用时间比一般的模型分割方法降低15%左右。为了更好地加快机器学习模型在分布式集群平台上的训练速度,本文又详细分析了机器学习模型训练在不同并行化技术下的流量特点,并基于此设计了适用于AI应用的分布式集群网络架构ECube。ECube架构很好地结合了AI应用的流量特性和在机器学习模型训练时不同工作节点之间的通信特性,相比常见的Fat-Tree架构和BCube架构,在数据并行和模型并行方式下,其性能均有很好的提升。根据仿真对比分析,在这两种并行技术下,在ECube架构上进行机器学习模型训练所用的时间普遍比在Fat-Tree架构上降低了40%左右,实现了模型训练的加速,降低了分布式集群进行机器学习所用的训练时间。