在目前很多无线通信系统的标准制定中，多入多出(MIMO)技术已经被广泛采用。从理论上已表明在充分散射的环境中，相对于单入单出(SISO)系统来说，MIMO系统具有提高频谱效率和容量的巨大潜力。但由于接收机的高复杂度，标准中所采用的一般还是仅限于很少的天线数和简单的天线方案。要进一步推动更多MIMO理论研究成果的应用，就必须先解决信号检测的复杂度问题。本论文的主题是研究MIMO技术中复用方案的接收机检测算法，目标是提高检测性能和降低复杂度。 本论文的第一部分首先讨论了传统线性检测算法的一些问题。首次理论推导了MMSE检测的输出信噪比的概率密度函数，应用其分析检测性能和系统容量。对于ZF和MMSE在高信噪比时性能相同的理论分析与实际仿真结果中两曲线从未重合之间的矛盾给出了合理的解释。另外还给出了分集度的另一种定义，即输出信噪比的累积分布函数的斜率。 论文的第二部分研究了基于球形译码(SD)的检测算法。一方面是讨论输出硬判决的SD。论文在总结了近年来的相关研究成果后，提出了方形边界的SD检测，仿真表明其在大天线数、高信噪比时的复杂度可以低于传统的V-BLAST检测算法。本论文首次以信道矩阵的条件数作为信道的一个特性，分析了条件数对SD检测的影响。为了降低在高条件数信道下的检测复杂度，提出了一种高层进行权值合并的方案。另外，提出一种可以对性能和复杂度进行折中的劈树SD算法，将其应用在MIMO-CDM-OFDMA系统中，相比于其它将多码道和多天线信号分别进行检测的算法，可以以更低的复杂度获得更好的系统性能。另一方面是针对编码的MIMO系统讨论如何让SD输出软信息。在全面分析比较了多种可输出软判决的SD算法基础上，得到了基于最短路径搜索的策略最适宜做软判决检测的结论。最后讨论了SD在迭代接收机中的应用，并提出了一种针对不同迭代次数时的特点采用不同的检测算法的混合迭代接收机方案，相比于单一的迭代方案可以在保证性能相同的基础上降低几乎一半的复杂度。 论文的第三部分讨论了两个将计算机领域的智能算法应用在信号处理领域中的例子。其一是提出了基于禁忌搜索的MIMO信号检测算法，仿真结果表明其可以比传统检测算法获得更多的分集增益，且复杂度只是发射天线数的二次方函数。其二，提出了将粒子群优化算法应用来做QRM检测中幸存路径选择方法，在保证性能的基础上大大降低了原始QRM检测的复杂度。 论文最后一部分讨论了MIMO信号检测在实际系统中面临的一些问题，如信道估计误差对检测的影响，如何消除蜂窝系统中同信道干扰提高检测性能，多