得益于计算机技术和无线通信技术的发展,机器人网络、无线传感器网络、智能电网、计算机网络以及车联网等的应用越来越广泛,多智能体网络作为这些网络的一个抽象,受到了越来越多的重视。关于多智能体网络的一个重要的研究课题是如何高效地对存储于其上的海量数据进行聚类和密度估计。可选的方式主要包括集中式的处理方式和分布式的处理方式,分布式的处理方式又可分为有中心和无中心两种。无中心的分布式处理方式相比于其他两种方式具有更高的系统鲁棒性,更可靠的数据安全性和更平衡的节点通信和计算负载,因此近年来获得越来越多的研究者的关注。以往许多无中心的分布式聚类算法都是基于K-means和EM算法的,这使得它们容易遭受聚类数选择问题或奇点问题,以及非高斯数据聚类问题。本文主要针对这些问题展开研究工作,在判别式聚类和生成式聚类的框架下分别基于最小归一化信息距离的方法和基于随机变分推断(SVI)开发了多种分布式聚类和推断算法。具体地,本文包括以下主要内容:1.在判别式聚类的框架下,通过最小化聚类数据和聚类标签之间的归一化信息距离(NID),提出了基于最小归一化信息距离(MNID)的聚类算法,然后借用多智能体一致性算法将其扩展成分布式的方式。最后分别在合成的和真实的数据集上对所提出的集中式MNID算法和分布式MNID算法进行了测试,实验结果表明它们可以同时解决聚类数选择问题和非高斯数据聚类问题。2.在生成式聚类的框架下,基于多智能体网络的一致性优化方法对分布式SVI问题进行研究。首先通过用KL散度定义一致性约束惩罚项,提出一种针对具有黎曼几何性质的参数空间的新颖的分布式自然梯度法,并在此基础上开发了基于分布式梯度法的SVI算法(DG-SVI)。然后利用diffusion方法,根据不同的本地更新方式,提出了基于自然梯度的分布式SVI算法(NG-dSVI)和基于信赖域的分布式SVI算法(TR-dSVI)。此外,对三种所提出的分布式SVI算法的收敛性和优缺点进行了分析和讨论。3.将所提出的三种分布式SVI算法分别应用于伯努利混合模型(BMM)、高斯混合模型(GMM)和隐含狄利克雷分布(LDA)模型上,给出具体的迭代公式。然后在上述三个模型上分别用不同的数据集对所提出的分布式SVI算法进行测试。实验结果验证了所提出的三种分布式SVI算法的有效性,并且发现它们在多个方面的性能都超越传统的集中式SVI算法。