智能手机的普及,大大的刺激了人们对于更高通信速率、更好通信质量的迫切需求,同时也促进了无线通信的迅猛发展。小区的细分化、天线数目的增多以及异构网络技术的应用导致了小区之间的相互覆盖越来越多,这些下行多用户干扰严重地制约着无线通信的通信质量和系统性能。传统的干扰抑制方案中常用的方法是预编码技术。由于在实际的通信过程中,发射机无法掌握下行信道状态信息,需要用户在上行信息中添加与信道信息相关的导频信号来进行信道或预编码矩阵的估计。因此预编码方法不仅受到信道估计误差的影响,还受到用户反馈误差的影响。鉴于这个问题,一些学者提出了接收机干扰处理方案的思想。此外,在预编码方案中,非线性预编码方案比线性预编码方案的系统性能要好,但是由于其复杂的计算方式导致其很少应用在实际的通信过程中。然而在点对多点的通信系统中,采用一个复杂度较高的基站比采用多个复杂度较高的接收终端更加可取。因此,一些学者提出了较低复杂度的非线性预编码方案研究方向。针对这两个问题,本文主要研究了两个干扰抑制消除方案。一个是接收机干扰消除方案,主要采用联合迭代译码技术;另外一个是发射机干扰抑制方案,主要采用扩展星座脏纸编码技术。本文首先具体地介绍了联合迭代译码的算法流程,其主要思想是:将除自身信号外的干扰信号视为加性高斯白噪声,采用特殊的译码结构将自身信号和干扰信号同时译出。由于联合迭代译码的发射机不需要任何与信道状态信息相关的处理,因此其不受信道反馈误差的影响,并且其干扰消除性能比大部分预编码方案更好。此外,本文还推导了信道估计误差方差与联合迭代译码的信号干扰噪声比值关系的闭合公式,该公式可作为实际通信过程中参数调整的参考。然后,本文详细地介绍了扩展星座脏纸编码技术的处理过程,其主要思想是:将原始发送信号在二维平面进行扩展,然后在扩展星座子集中寻找与已知干扰最接近的星座点,最后将这两点的差值作为脏纸编码符号。这样处理的方式,不仅可以降低编码后信号的峰值功率和平均功率,还能避免一些对称取模运算带来的性能损失。此外,本文还介绍了扩展星座脏纸编码技术的用户选择方法,与未采用用户选择的方案相比,采用用户选择方案在系统误码率性能上有较大的提升。