多输入多输出(Multiple-Input Multiple-Output, MIMO)系统是近年来在无线移动通信研究中的一个重大突破,它扩展了一维智能天线技术,通过在发送端和接收端分别安置多副天线来实现。多天线技术能够充分利用空间资源,在不增加系统带宽和天线总发送功率的情况下,有效对抗无线信道衰落的影响,大大提高通信系统的频谱利用率和信道容量,是新一代无线移动通信系统采用的关键技术之一。本文首先深入分析了多天线无线通信的原理、当前研究进展及其在无线通信领域中的应用,重点分析其系统模型和系统容量。对MIMO系统中的常规检测算法进行了分析,并通过仿真分析比较各种算法的性能。然后分析MIMO信号检测算法中近年来被广泛研究的以树搜索为基础的一大类算法,深入的研究了深度优先的球型译码算法和宽度优先的QRD-M算法的原理及搜索过程,并对这一类算法进行了总结。主要研究工作如下：(1)研究了深度优先的球型译码算法,发现球半径的选取对算法的复杂度和性能有很大的影响,特别是当信噪比很小时,过大的搜索半径会导致复杂度近似到达最大似然(ML)算法的复杂度。针对这一问题,通过引入一个压缩因子乘以信噪比的式子去控制球半径的大小,使该改进算法在低信噪比时的复杂度有了明显的改善。仿真实验表明,在信噪比低于10dB时,该改进算法相对传统球型译码算法,复杂度平均降低10%左右。(2)研究了宽度优先的QRD-M算法,针对常规QRD-M算法中冗余计算过高这一问题,提出了自适应的QRD-M算法,它通过在每一层引入一个门限值,并对每一层进行部分扩展。仿真实验表明,改进算法在牺牲了很小误码率的同时,却换来了复杂度的大幅度降低,使其能更好的应用于实际的系统成为可能。(3)针对常规QRD-M算法在其检测过程中容易将最优路径舍去和并没有考虑噪声的影响,从而会对误码率有一定的影响,因此提出了QM-MMSE-SQRD算法。它在对信道的噪声进行了有效抑制的同时,又引入排序QR检测算法的思想,对常规QRD-M进行改进。仿真实验表明,该算法有效的提升了常规QRD-M算法的性能。