近年来信息理论的研究结果表明：在存在丰富散射的无线信道，收发两端均采用多天线，即多入多出(MIMO)系统可以获得比单发单收系统更高的容量。MIMO信道容量是最优MIMO系统性能的上限，知道这一上限并不意味着能实现它。最优系统的空时联合处理由于高复杂度而难以实用。因此，发挥MIMO潜力的关键在于为发端设计优化的信号传输形式，并在接收端设计合理的接收处理算法。 本文主要工作是围绕MIMO接收端处理算法展开的，具体如下： 1．提出了基于Householder变换的排序QR分解检测和基于Givens旋转变换的排序QR分解检测算法，仿真结果表明提出的这两种排序QR分解检测算法与D.Wubben提出的基于Gram-Schmidt变换的QR分解检测算法取得了相同的性能，与V-BLAST干扰删除算法相比，虽然得到的检测顺序未必是最优的，但是避免了多次矩阵求逆运算，降低了计算复杂度，且性能损失很小。同时研究了格缩减技术相结合的线性及非线性检测算法，仿真结果说明采用格缩减技术能大大提高系统的性能。 2．对半定松弛、堆栈算法和分枝定界三种逼近最大似然性能的检测算法进行了研究，将半定松弛算法用于多层空时码的解码中，同时修正了分枝定界算法中Openlist节点堆栈的访问方式，提出了最小下界值的方法，这种策略使得从可能到达一个好的叶节点的候选节点出发。对分枝定界和堆栈算法采用本文提出的排序QR分解算法在检测前对信号排序。仿真结果表明分枝定界和堆栈算法取得了最大似然的性能，其性能要优于半定松弛算法，半定松弛算法以多项式复杂度取得了逼近最大似然的性能。分枝定界算法的搜索平均复杂度低于堆栈算法，同时改进算法加快了收敛速度，降低了计算复杂度和对存储空间的要求。 3．提出了基于列表的迭代分枝定界算法，这种方法除了利用基本分枝定界算法中已有的OpenList节点堆栈外，还利用了一个备用节点堆栈NodeList，在搜索过程中已达到全长的序列和不符合下界条件的序列并没有被舍弃，而是按照序列的下界值由小到大存储在NodeList中。利用搜索得到的候选列表计算比特软信息代替最大似然检测的穷举搜索，同时进一步提出了考虑先验信息的迭代分枝定界算法，计算下