随着第五代移动通信(5th Generation Mobile Communication,5G)的发展,大规模MIMO系统(Massive Multiple-Input and Multiple-Output,M-MIMO)作为5G关键技术之一,通过增加空间的自由度,极大地提高了无线通信系统容量,因而,成为目前的研究热点。但是,在大规模MIMO系统中,由于用户数和天线数不断地增加,用户间的相关性和系统获取信道状态信息(Chanal State Information,CSI)的反馈开销随之增加,以及导频污染不会因为天线数的增加而消失,这些都成为限制大规模MIMO系统容量提高的关键因素。因此,本文从如何利用分簇算法来实现大规模MIMO系统的干扰协调,提高系统容量方面展开研究。首先,本文介绍了大规模MIMO系统的基本概念和相关的技术原理,重点阐述了大规模MIMO宏小区及宏微异构场景所面临的问题。在大规模MIMO系统宏小区场景下,为降低用户间干扰,提高大规模MIMO系统容量,提出了一种基于用户多维特征相似度的用户分簇方案。该方案通过分析用户的多维特征属性,设计基于多维特征相似度的近邻传播(Affinity Propagation,AP)分簇算法。同时,为了适应动态变化的用户状态和系统环境,采用Q-learning算法来提高系统的自适应性。仿真表明,该方案降低了系统处理维度,提高了系统的容量和网络的灵活性。其次,为了更适应5G时代的实际应用需求,本文将研究场景拓展到大规模MIMO宏微异构场景,针对限制大规模MIMO系统容量提升的导频污染问题,提出了一种基于微小区分簇的宏微异构导频分配方案。该方案通过度量潜在导频污染程度,利用基于图论的算法对微小区进行分簇,并设计基于潜在导频污染的宏微异构导频调整算法,实现了最优的宏微导频分配。仿真表明,该方案提高了系统信道估计的精度和导频资源的利用率,增加了系统可服务的用户数。最后,本文对所研究的内容提出了展望:针对用户多维特征,可研究不同权重配比所带来的性能差异;针对宏微异构下的导频污染问题,可拓展到多个宏小区的场景;也可从信道估计、预编码等方面进行导频污染的深入研究。