在发射端和接收端都采用多天线的多输入多输出(MIMO)技术是未来移动通信系统的关键技术之一。然而，当把MIMO技术应用到多小区系统时，由于受到来自相邻小区同频干扰的影响，多小区MIMO系统变为了一个干扰受限系统。本论文的主要工作即是对多小区MIMO系统中的干扰抑制问题展开研究。研究内容主要包括：对多小区MIMO系统进行了深入研究，揭示了系统干扰受限的原因；将单用户和多用户MIMO技术扩展到多小区中，给出了基于接收端和发送端的多种抑制干扰的系统结构和算法，推导了其容量并进行了性能分析。结合实际系统的设计对各种干扰抑制技术进行比较和评价，得到了许多对于系统设计具有参考价值的结论。提出了一种主动式干扰抑制技术。从干扰产生的角度进行分析，将各基站作为独立的干扰源从多小区网络中分离出来，与MIMO空时信号处理技术相结合，将本基站对相邻小区所引起的干扰进行主动抑制。这种干扰抑制策略不需要改变现有通信系统的拓扑结构，具有较低的实现复杂度。基于上述主动式干扰抑制思想，本文提出了两种实现方案，一种是主动式迫零预编码，通过将干扰信道矩阵的子空间迫零来消除基站所产生的干扰；另一种是基于最大干扰特征子信道的预编码，相对于迫零预编码，它在有效抑制小区间干扰的同时提高了本小区内的发送自由度。本文还针对干扰抑制过程中如何有效降低上行链路的反馈量展开研究。提出了一种有限反馈预编码干扰抑制技术，它在接收端利用一个有限的码本集合对干扰信道矩阵的子空间进行量化，然后将量化信息反馈回干扰基站，实现了信道信息的有限反馈，然后在发送端结合主动式干扰抑制思想利用线性预编码对多小区干扰进行抑制。理论分析和仿真结果均证明此方法能够利用有限的反馈信息量进行有效的干扰抑制，而且具有良好的应用前景。