随着通讯技术和计算机技术的飞速发展,云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长,世界已进入网络化的大数据时代。面对愈来愈庞大的数据规模,传统的单机计算方式因单机计算能力的限制在处理数据时往往无能为力或是需要消耗大量的计算资源和时间开销。针对该类情形,许多学者开始将目标转向多智能体系统,寻求以多智能体合作的方式解决复杂大规模问题的方法。又考虑到现实生活生产中涉及的机器学习、无线传感器网络、统计学习等领域的问题通常可以建模为最优化问题,而传统集中式的优化算法在求解优化问题时往往耗费单体计算机大量的计算资源并且需要大量时间才能得到最优解,因此分布式优化成为当下的前沿热点问题,吸引大批国内外学者参与研究。与传统集中式优化算法不同,多智能体系统分布式优化理论中设定了一个包含多个智能体的网络,该网络由信号传输方式和网络拓扑的变化与否,通常可分为固定无向网络、固定有向网络、时变无向网络和时变有向网络等等。将大规模的复杂问题分解为多个相对较简单的局部目标问题并分配至网络中的多个智能体,每个智能体仅需处理相对简单的局部目标问题并与其邻居智能体进行交互信息即可在数次迭代后求解全局最优解,完成优化任务。尽管多智能体分布式优化算法降低了实现优化目标时对每个计算单位的计算能力的要求并且降低了时间开销,但对于提升算法性能任然值得进一步研究。在现有提升算法性能的方法中,主要被采用的方法有Nesterov型动量法,Heavy-ball型动量法,随机梯度法等等。因此,本论文主要研究大规模复杂优化问题,并为优化问题设计能够快速收敛的分布式优化算法,研究工作主要分为以下三点:(1)针对时变非平衡有向网络拓扑环境下的多智能体系统分布式优化问题,提出了基于Heavy-ball型动量方法的快速分布式优化算法。考虑在现实通信环境中,特别是在传感器网络等应用领域,智能体之间的通信状态可能是随时间变化且有向的,如何消除网络非平衡性成为多智能体分布式优化算法研究的重要挑战。所提出的算法通过同时采用行和列随机矩阵,消除了由于采用双随机矩阵而导致的保守性,扩展了算法的适用范围。并且与现有工作不同,该算法不再需要计算用于估计随机矩阵的Perron特征向量。在全局目标函数是强凸且每个局部目标函数具有利普希茨连续梯度的假设下,本文证明了该算法选取合适的步长和动量参数后能够以线性速度收敛于全局最优解并且动量项的引入提升了算法的收敛速度。此外异构形式的步长和动量参数允许各智能体自主在合适范围内自主决定步长和动量参数,克服了全局智能体需要保持步长一致的弊端,提升了系统的灵活性。通过逻辑回归、支持向量机等仿真实例证明了该算法的实用性和理论结果的正确性。(2)针对大规模复杂优化问题,提出了基于随机平均梯度的梯度追踪算法。考虑到在机器学习的应用场景中,优化问题涉及的数据规模往往较大,每个复杂的局部目标函数又可进一步分解为多个的瞬时函数之和,原有基于梯度追踪的分布式优化算法在计算局部目标函数的梯度时往往需要耗费大量的计算资源和时间,如何快速解决大规模问题成为一个亟待研究的问题。基于经典的分布式梯度追踪算法并采用随机平均梯度机制,提出了分布式的随机梯度追踪算法,该算法允许每个智能体在每个时刻随机地选取一个瞬时函数进行梯度计算。因为每个瞬时函数被选取的概率相等,每个智能体对于梯度的估值的期望值等于局部目标函数的梯度,因此该梯度是无偏的。通过分析算法并将算法转为原始-对偶形式的算法进行分析并且利用该无偏梯度的特性,本文证明了所提出的算法在步长不超过给定上界时能够以线性速度收敛至全局最优解。通过逻辑回归、源定位、聚类等仿真实验表现了算法的有效性和理论分析的正确性,实验表明达到同样精度解的条件下,所提出的算法对比其他同类算法极大降低了所消耗的计算资源和时间。(3)针对光滑+非光滑形式的复合优化问题,提出了基于Nesterov型动量方法的分布式连续凸逼近算法。考虑在机器学习中时常在目标问题中加入一个1范数形式的光滑函数以保证解的稀疏性,为解决该类部分目标函数非光滑的优化问题并且实现快速收敛的目标,本文研究了Nesterov型动量方法、梯度追踪算法和连续凸逼近算法并结合三者设计了分布式优化算法。利用小增益定理,本论文证明了所提出的算法在目标函数为强凸时能够以线性速度收敛至全局最优解。并且考虑更一般情况,即目标函数非凸时,所提出的算法仍然可以保证估值能够以次线性收敛至不动点。通过逻辑回归进行仿真实验证明了该算法的实用性和理论分析的正确性,引入Nesterov型动量项后的算法对比同类算法能够更快地收敛。