目前,随着越来越多的互联网和多媒体应用融入无线网络和用户对高速宽带无线通信业务的需求不断增长,要求下一代移动通信系统能够在实现数据可靠性的同时满足高速率传输。为了满足上述下一代移动通信系统大带宽、高速率、广覆盖等要求,OFDM和多输入多输出(MIMO)技术始终作为其物理层核心技术。其中,MIMO技术可以在不增加系统带宽的前提下显著提高系统的传输速率和链路可靠性,而MIMO检测及预编码、多用户MIMO技术作为MIMO技术的一个重要分支,由于其性能优越等优点受到广泛关注。本论文首先简要描述了MIMO系统模型,并分析了单用户/多用户信道容量。随后主要围绕单用户MIMO预编码与检测技术、多用户MIMO下行链路线性预编码技术这些方面进行了深入的研究。论文的主要研究内容及成果如下：(1)针对点对点单用户MIMO系统的预编码和检测技术,提出一种新的基于LQ分解的线性预编码方案,使接收端采用简单的串行干扰抵消(SIC)就可以恢复出发送信号,分别给出基于ZF和MMSE准则下的预编码方法,并加入排序操作进一步提高系统性能。针对V-BLAST系统中接收端采用QR分解检测算法不能经常获得理想检测次序的问题,在发射端通过对共轭转置后的信道矩阵进行QR分解来获取预编码矩阵,使接收端采用SIC译码时能以较大概率获得理想检测次序,可以有效抑制误码率传播。和传统的检测算法相比,误码率性能得到很大程度上的改善,且具有较低的复杂度。(2)在多用户MIMO下行链路中,针对传统的线性预编码算法复杂度高难以实用化的问题,提出了三种改进的线性预编码算法,有效地降低了复杂度且没有性能损失；另外,为进一步提升多用户MIMO的系统性能,又提出两种改进的线性预编码算法。算法1是一种利用QR分解求取零空间的块对角化(BD)算法。在传统的BD算法中,使用SVD分解求取零空间占据了整个算法复杂度的大部分,在新算法中使用低复杂度的QR分解来代替SVD分解求取零空间,在保持原BD算法性能的同时明显地降低了运算复杂度,简称为QR-BD算法。算法2和算法3是降低RBD算法复杂度的两种改进算法。首先,推导出原RBD算法最优解的求解过程,得到一个有用的结论。在算法2中,把传统的单用户MIMO检测中基于MMSE准则的扩展矩阵方法推广到多用户MIMO预编码矩阵设计中,构造了一种新的干扰用户信道和噪声的扩展矩阵,对该扩展矩阵使用QR分解的方法来获取最小化干扰泄露和噪声的空间,简称为QR-RBD算法,并在数学上证明它是完全等价于原RBD算法,但复杂度明显降低；在算法3中,给出了一种使用乔列斯基分解(Cholesky Factorisation)得到最小化干扰泄露和噪声最优解的方法,在数学上也是和原RBD算法是等价的,其运算复杂度和算法2基本相当。算法4是一种改进的基于MMSE准则的信道反转预编码算法。针对传统的信道反转预编码算法在用户配有多根接收天线时系统性能会有损失的问题,在原MMSE-CI算法的基础上,通过在低维度的用户等效块信道矩阵上加入用户多天线之间的协作来进一步抑制多用户干扰泄露和噪声,使该算法适用于用户配有多根接收天线的场景；理论分析和仿真结果表明,该算法取得了比MMSE-CI算法更好的系统性能,运算复杂度只是略微增加。算法5是一种迭代优化的多用户MIMO预编码算法。该算法充分利用已知用户中未使用的子信道空间来提高其他用户的空间增益,并使用迭代的方法进一步提升系统性能,不影响用户接收端的接收检测算法,不会增加系统开销。另外还具有较快的收敛速度,有利于工程实现。