论文部分内容阅读
近年来,随着分布式系统的广泛应用,带来了许多亟需解决的问题,如何设计相应的策略来求解对应的分布式优化问题,迫在眉睫。本论文主要围绕分布式凸优化算法的求解速率问题来展开,受目前分布式凸优化求解算法以及多智能体一致性协作协议的启发,提出并研究了有限时间收敛的分布式凸优化算法,并将其推广到目前备受关注的机器学习中,提出并研究了快速收敛的分布式合作学习算法。论文的主要工作可以概括为以下两部分:·第一部分,在固定无向的分布式网络拓扑中,对于目标函数是网络中所有节点代价函数和的凸优化问题,我们提出了一个有限时间收敛的连续时间的分布式凸优化算法。该算法受有限时间收敛的一致性协议和现存的连续时间零梯度和算法的启发。不同于现有的只能达到指数收敛的分布式凸优化算法,所提算法可以实现有限时间收敛,且算法的收敛性可以通过Lyapunov方法来保证。相应的仿真实例也直观的证明了算法的有效性和正确性。·第二部分,基于固定无向的分布式网络拓扑,结合机器学习中的分布式凸优化问题,提出了一个基于线性参数化神经网络的快速收敛的分布式合作学习算法。首先,本文给出了一个连续时间的分布式合作学习算法,严格的Lyapunov理论证明表明该算法可以实现有限时间收敛。接下来,为了便于应用以及跟现存的离散时间的分布式合作学习算法作比较,采用4阶龙格库塔法来对连续时间的算法进行离散化。本文选择了两种线性参数化神经网络,高阶神经网络和随机前馈神经网络来做仿真。对于高阶神经网络,本文采用连续时间的分布式合作学习算法,给出了其在数学函数逼近上的一个简单仿真例子。对于随机前馈神经网络,本文采用了离散时间的分布式合作学习算法,给出了其在“SinC”函数的人工数据集以及三个常用的UCI公共数据集:Housing,Skin,Handwritten的对比仿真实验。实验结果表明,本文所提的分布式合作学习算法比现有的分布式ADMM算法和随机前馈神经网络零梯度的分布式合作学习算法收敛速度快。