近年来,深度学习技术发展迅速,在计算机视觉、自然语言处理等领域得到广泛应用。伴随深度神经网络模型的性能提升,模型的参数量、计算量也有了显著的增长,单个计算设备的性能已经不能满足大模型、大数据下的训练需求,分布式训练成为加速深度神经网络模型训练的必要手段。然而,现有的分布式训练优化技术主要针对计算机视觉领域的稠密模型,不能有效应用于稀疏模型的分布式训练。稀疏模型广泛应用于自然语言处理、推荐系统等多个领域,由于在参数存储、梯度表示等多个方面与稠密模型存在区别,导致现有的分布式训练方法不能在稀疏模型上取得有效的加速效果。本文面向自然语言处理领域中的稀疏模型的分布式训练优化技术开展研究,主要工作和创新点如下:针对自然语言处理领域中稀疏模型中稀疏参数量大、通信开销高的问题,提出了一种稀疏感知的混合模型平均优化算法（SA-HMA）。该算法考虑到稀疏模型的稀疏更新特性,将模型的参数划分为稀疏和稠密两个部分,分别采用不同的聚合方式进行模型参数的同步。对于模型参数的稠密部分使用原有的同步算法进行聚合,对于模型参数的稀疏部分使用基于模型平均算法的方式进行聚合。在LM语言模型和NMT机器翻译模型上的实验表明,相比主流分布式训练方法,该算法能分别缩短约76%和58%的收敛时间。考虑到稀疏参数的聚合周期内只有部分参数进行更新的特点,提出了一种基于参数增量的高效模型聚合算法。该算法设计并使用增量数组记录需要同步的模型参数信息。同时,为了避免在参数稀疏程度不高时对增量数组的维护带来的额外开销,设计了一种动态的通信策略选择机制,以在不同的模型下提高训练的吞吐率,缩短训练时间。实验表明,该算法相对于稀疏感知的混合模型平均优化算法,能够进一步提高5%-13%的分布式训练吞吐率,相比主流分布式训练方法,最多能缩短约80%的收敛时间。