随着人工智能的高速发展和移动设备的普及,各种基于深度学习的应用进入我们的生活,深度学习的成功离不开神经网络对数据的高表征能力,离不开庞大且丰富的数据集。其中,分布式数据处理和分布式机器学习的作用日益凸显,需要多个参与方协作的需求不断涌现。然而,在实际场景中,很多数据由于隐私安全和保密政策,数据拥有者不愿意或不允许将数据分享出来。并且,将数据聚合到一起训练模型会产生高昂的通信成本和存储成本。由此,联邦学习应运而生。联邦学习是一种分布式机器学习技术,能够在保证数据保留在本地不予共享的前提下,使多方设备或机构利用本地数据集协作构建一个共享模型。联邦学习在移动设备的应用场景下很有发展前景,人们每天产生大量的数据保存在私人设备中,在保证数据隐私安全的前提下,这些真实且庞大的数据能够帮助联邦学习构建出更加复杂且准确的模型,为用户提供个性化服务。然而,不同于标准数据集,这些分散在真实设备上的数据集的数据分布是不平衡的,这种不平衡包括全局不平衡（类不平衡）和局部不平衡（独立非同分布）,这种特性会导致最终训练出来的模型准确率大幅下降。此外,联邦学习通常采用一个预定义的神经网络结构做为初始模型,这种预定义的模型结构对数据分布不平衡场景下的联邦训练来说不一定是最优的,且由于联邦学习模型训练周期长,研究人员手动调整网络结构到最优是非常低效的。本文针对上述问题,对联邦学习中不平衡数据集下的模型进行优化,主要包括以下几个方面:·本文首先通过实验和数学推导,探究了不平衡数据集对神经网络模型的具体影响及原因,得出不平衡的数据集会导致模型准确率大幅度下降;训练集和验证集数据分布的异构性是导致模型准确率下降的直接原因;在神经网络结构确定时,仅通过模型训练无法达到平衡数据集下的最优权重。·针对局部不平衡数据集,本文提出了一种基于Kullback-Leibler（KL）散度的模型分组训练调度优化方法。根据客户端数据集的平衡度,设计了基于贪心策略的分组方法,形成局部平衡的数据集,并分配中间服务器管理组内训练。通过实验探究了数据分布对模型收敛效率的影响,得出模型从平衡度由高到低的顺序进行训练时收敛效率最高,由此设计了基于KL散度的模型训练调度优化方法。·针对全局不平衡数据集,本文设计了基于神经网络结构搜索的联邦学习架构。该架构采用基于分组的搜索策略,由算力强大且存储资源充足的中间服务器与客户端配合进行神经网络结构的搜索,能够使得资源受限的移动设备也参与到神经网络结构搜索中。最后实验验证了本文方法较不平衡的CIFAR-10数据集上Dense Net的准确率平均提升了4.39%。