无线多输入多输出(MIMO)技术可以显著提高系统容量,是下一代移动通信系统的关键传输技术。多输入多输出技术充分开发空间资源,利用多个天线实现多发多收,在不需要增加频谱资源和天线发送功率的情况下,可以成倍地提高信道容量。典型的空间复用技术是贝尔实验室的空时分层结构。本文对独立平坦衰落与频率选择性衰落信道环境中的MIMO信号检测技术进行了研究,在不降低频谱效率的前提下,力图通过提高检测算法性能改善系统的误比特性能,并降低信号检测的计算复杂度。研究着眼于采用空时分层结构的MIMO系统检测技术中若干关键技术,包括GOLDEN检测技术、均方根迭代检测技术、按序QR分解检测技术、自适应最小二乘按序判决反馈检测技术做了详细的研究,主要研究内容如下：针对常规V-BLAST检测算法在MIMO系统接收端进行检测时,需要进行大量伪逆运算导致检测复杂度增加的问题,提出了一种基于迭代QR分解的MMSE V-BLAST算法,把对信道矩阵求伪逆的过程转化为利用迭代QR分解近似逼近的过程,从而避免了伪逆运算,有效的降低了检测算法的复杂度。并且由于避免了伪逆运算而无需满足信道矩阵的行数必须大于或等于列数的要求,因而对于发射和接收端无需满足发射天线数必须小于或等于接收天线数的要求,扩展了系统的一般适应性。考虑到传统的均方根检测算法计算复杂度高。提出快速均方根V-BLAST检测算法,所提算法利用矩阵酉变换的性质,仅对信道矩阵进行一次排序,并且无需迫零向量,该算法在系统检测性能总体保持一致的情况下,计算复杂度下降,对于响应要求及时的系统有很好的适应性。用于多输入多输出通信系统检测的按序QR分解算法在多径瑞利慢衰落信道中系统复杂度低,但误码率较高。提出一种基于列正交变换的串行干扰消除算法,该算法对信道矩阵按列正交变换,避免了求上三角矩阵的运算,并且在判决信号过程中,将先判决出的信号通过信道后的输出向量作为干扰进行消除,从而避免了已判决信号对未判决信号的影响。在基于列正交变换的串行干扰消除算法基础上,借鉴并行处理的思想,提出并行QR分解检测算法,并对其检测性能进行了分析。所提算法首先对信道矩阵按列正交变换,并且利用矩阵酉变换的性质仅对信道矩阵进行一次排序,在判决信号过程中,采用部分判决信号反馈和接收信号干扰消除并行处理的检测算法。在低信噪比的情况下,由于避免了功率强度大的信号对其余信号产生干扰,所以此算法适用于信道条件恶劣的情况下。理论证明,利用修正的Gram Schmidt正交化方法对矩阵进行正交化的计算量大,而基于Householder变换的正交化方法的计算量大约为其2/3。因此,在MIMO系统检测时,考虑采用基于Householder变换的串行干扰消除算法。所提算法对信道矩阵进行Householder变换并且利用矩阵酉变换的性质仅对信道矩阵进行一次排序,在判决信号过程中,将先判决出的信号通过信道后的输出向量作为干扰进行消除,因而计算量降低。提出一种在MIMO频率选择性无线环境中得到高数据传输率的接收机结构。基于RLS按序串行干扰消除的MIMO判决反馈算法在应用迭代最小二乘算法得到的前馈数据向量中按序将已检测并判决出的信号进行消除,并将前馈数据向量合并到反馈数据向量中,避免了已判决出的信号对前馈数据向量的干扰,利用矩阵求逆公式,重新定义迭代过程中权重向量。使迭代过程均方根误差降低,检测性能提升。在基于RLS按序串行干扰消除的MIMO判决反馈算法的基础上,借鉴并行处理的思想提出了基于RLS并行干扰消除的MIMO判决反馈算法。所提算法在应用迭代最小二乘算法得到的前馈数据向量中运用并行干扰消除的方法将已检测并判决出的信号进行消除,并将前馈数据向量合并到反馈数据向量中。所提算法无需对信道矩进行排序,因而计算量降低；在低信噪比的情况下,由于避免了功率强度大的信号对其余信号产生干扰,所以此算法适用与信道条件恶劣的情况下。传统的最小二乘恒模算法(LSCMA)误差曲线不具对称性,是导致LSCMA算法收敛速度慢、收敛后均方误差大的主要原因。为此将LSCMA算法进行了改进,将其误差曲线定义为对数正态误差曲线,并在次基础上加入了判决条件。将运用改进的对数正态误差恒模算法得到的前馈数据向量合并到反馈数据向量中,并按序将已检测并判决出的信号进行消除,避免了已判决出的信号对接收数据向量的干扰。由于LSCMA算法利用了信号的恒模性质,因而比传统的RLS算法复杂度低,适用于快衰落信道。