随着移动通信网络向5G的演变,Massive MIMO已作为核心技术应用在这一代移动通信系统当中。该技术为了充分利用有限的时间和频率资源,在基站端集成大量的天线单元组成了大规模天线阵列,但由于实际应用中阵列的占用空间有限,使得基站天线的小型化成为必然趋势。而小型化阵列由于阵元间距过近,导致互耦作用十分强烈,直接影响了天线的性能。如何在保证阵列小型化的基础上,实现对互耦的补偿已成为了一个亟待解决的问题。因此本文针对互耦补偿技术展开研究,具体研究内容如下:1.在分析阵列信号模型及互耦机理的基础上,研究了一种基于阵列信号处理的自校正方法——DOA与耦合矩阵联合估计算法。该方法根据互耦作用特点简化了耦合矩阵形式,通过变换公式实现了耦合系数与方向矢量的分离。利用均匀线阵、圆阵以及矩形阵进行仿真实验,验证了该算法良好的互耦补偿以及精确测向的效果。2.针对联合估计算法分辨力较低的问题,利用线极化微带天线组成的均匀线阵分析了分辨力的影响因素,然后对均匀线阵提出了一种具有更高分辨力的互耦补偿算法——基于线性预测的DOA与耦合矩阵联合估计算法。该方法根据线性预测原理虚拟扩展阵列孔径,利用虚拟阵列计算耦合矩阵,并将其作为联合估计算法的初始化耦合矩阵进行循环迭代。以一个对称振子组成的八元均匀线阵进行仿真实验,结果证明了该方法在实现互耦补偿的基础上,有效提高了算法的分辨力。3.提出了一种宽带数字域互耦补偿算法,将宽带时域信号通过FFT转换为频域信号,利用单元方向图重建法求解耦合校准矩阵,在频域实现对信号的互耦补偿。该方法根据阵列单元方向图在较小的频率范围内变化不大的特性,将阵列的工作带宽分解为若干等宽的小频段,对每一小频段内的信号采用同一校准矩阵来进行互耦补偿,由这些耦合校准矩阵构成宽带互耦补偿网络。该算法在实现宽带阵列互耦补偿的同时,极大程度地减少了天线的测量步骤以及算法计算量。基于一个设计好的5G基站天线对该算法进行仿真实验,对单个频点情况下的互耦补偿效果以及宽带情况下算法的可行性进行验证,实验结果证明了算法的有效性。