对于高速率、稳定链路以及高系统容量的追求是无线通信技术不断发展的动力,随之涌现出了非常多先进的传输技术,MIMO和OFDM技术便是其中最为典型的代表。尤其是MIMO技术对空间维度的引入,为通信系统容量提升开辟了一条新的途径,理想情况下的MIMO信道容量会随着天线数的增加线性增加。但是在MIMO通信系统中,由于MIMO信道的相关性、用户间干扰、码间干扰、小区间干扰等因素的制约,使得MIMO系统的容量限仅仅成为一种理论可能。因此研究逼近MIMO系统容量限的先进传输技术,成为目前MIMO系统研究的一个重要方向。在发射端信道状态信息已知时,采用预编码技术是解决上述问题的一种非常有效的手段。基于这一出发点,本文深入研究了MIMO系统的预编码问题,内容涉及：单小区场景MIMO预编码方法,基于干扰消除和抑制的多小区场景MIMO预编码方法,以及MIMO预编码的码本设计等方面。取得的主要研究成果如下：1.在单小区MIMO场景下,基于降低实现复杂度的考虑,提出了在多用户MIMO系统中采用级联预编码的方案；同时为了克服在病态信道条件下的噪声增强问题,进一步提出了一种格规约-信道求逆的多用户预编码方案,并从复杂度和性能改善方面对方案进行了分析验证。并在此基础上,给出了在统一框架下,多用户MIMO系统预编码的解决方案。仿真表明,所提算法在同等条件下具有复杂度低、误码率小的良好性能。同时,基于对预编码相关技术研究的角度,研究了在采用预编码以后对MIMO系统接收机处理的影响,提出了一种基于时域预编码的半盲信道估计方法,相比传统算法,在信道估计的精度和复杂度上均有明显改善。2.在多小区MIMO场景下,提出了一种基于分层预编码的多小区干扰抑制方法,在多小区之间和小区内,基于不同准则进行分层预编码处理,有效地抑制不同区域干扰的传播,并且使得不同算法间性能可以相互补偿；进一步针对多小区MIMO预处理中最大化目标用户信干噪比与最小化干扰泄露之间的相互矛盾,提出了一种基于平衡策略的预编码算法,通过引入干扰代价变量构建目标函数,借助拉格朗日方程求解预编码向量,实现了预编码向量的动态优化。通过对所提算法与现有算法的性能仿真比较,验证了所提算法性能的优越性。3.针对多点协作机制MIMO系统,提出了一种基于最大化系统加权和速率的预编码方案,方案基于凸优化理论以最大化系统和速率为目标构建目标函数,采用迭代算法进行预编码向量的求解。相比于现有算法,该方案性能不受收发天线数的限制,可以通过调节迭代门限和协作小区簇来控制复杂度,从而实现复杂度和系统容量的合理折中。4.针对目前预编码码本设计和选择中反馈开销和性能存在的矛盾,本文提出了一种基于码本旋转和分集思路的码本设计方案,在某些既定基础码本矩阵基础上,借助分集思想,通过引入码本旋转矩阵对码本空间覆盖进行调整,从而使得方案有一定的自适应性,并能有效地降低系统的误码率。论文较全面、透彻地阐述了无线通信MIMO系统中的预编码问题,分别提出了针对单小区多用户MIMO系统、多小区多用户MIMO系统、基于协作机制的MIMO系统预编码的改进或解决方案,并针对现有的预编码码本设计矩阵提出了一种改进算法,所提算法考虑到地复杂度和性能的合理折中,具有较强的实用性。