中国第3代移动通信系统(3G)商用在即,超3代(B3G)或第4代(4G)移动通信系统的关键技术研究也已趋于成熟。百年通信的发展使中国经历了从驰马驿站到光纤宽带,从飞鸽传书到移动视频的翻天覆地的变化,信息时代的到来早已经是千家万户感受到的事实。更快的传输速率,更优的传输质量永远是无线通信追求的目标。然而无线通信可使用的频带带宽是有限的,通信系统的发射功率上限也不能无限制的增长,随着用户需求的不断膨胀,性能更优的通信技术迫在眉睫。正交频分复用(OFDM)技术可以使频带的利用率提高一倍,因此已经成为4G的必用技术,然而这样的性能提高并不能完全满足用户对未来通信系统性能的要求,更多有实用价值的技术被不断提出。九十年代提出的多输入多输出(MIMO)无线通信技术,在发射端与接收端同时装配多条射频链路,通过将空间信息引入到通信系统中,系统的传输速率及传输质量都得到了大幅度的提高,因此成为目前通信研究的热门问题。然而随着射频链路的增加,系统的硬件复杂度及信号处理的软件复杂度都呈指数增加。如何有效的减小系统实现复杂度且提高系统性能成为目前亟待解决的问题。天线选择技术通过在发射端装配大量廉价的天线,将有限的射频链路分配给最优的天线子集,在降低系统实现复杂度的同时可以有效的保证系统性能。当发射端天线数目不变时,通过天线重分组技术,双空时发射分集(DSTTD)系统的性能也可以得到有效的改善。另一方面,MIMO系统可以同时为多个用户传输信息,因此可通过利用多用户分集增益有效的提高多用户通信系统的传输速率和传输质量。但是为了消除不同用户间的干扰,MIMO系统所能同时服务的用户数受发射天线数的限制。因此当系统中存在大量用户时,如何选择同时通信的用户及用户的接收天线从而使系统性能达到最优就成了必须解决的问题。为实现快速有效的用户选择,针对不同预编码机制的用户选择算法得到了广泛的研究。最大信漏噪比(MSLNR)预编码由于不需要完全消除不同用户间的干扰,因此能够同时服务的用户数并不受到发射天线数目的限制,然而近期研究表明随着用户数的增加,由于不同用户间的干扰得不到有效的抑制,MSLNR预编码系统的性能将被严重削弱。因此,当系统中用户数较多时,对MSLNR预编码系统进行用户选择研究是必要的。目前的无线通信服务都对用户设定了服务质量(QoS),因此在多天线多用户等服务质量迫零(EQoS-ZF)系统中,如何能够用最少的发射功率满足所有用户的需求,或当系统中存在大量用户时,如何协调各用户通信使系统性能达到最优等问题目前还未得到研究。本论文中我们主要对以下三个方面进行了学习研究:1)天线选择技术在MIMO系统中的应用实现。首先,通过向量空间的分析,得到了性能好的天线子集对应的信道所具备的向量空问特征,并基于此提出了计算复杂度低且性能好的快速天线选择算法。其次,由于非线性优化算法在解决复杂的通信计算问题方面凸现的优势使该算法在通信系统的应用越来越广,针对多天线同速率传输系统的最优化,我们构造了满足凸优化函数的数学模型,这个模型能够快速有效的解决该系统下的天线选择问题。最后,基于信道容量公式的分析,对发射端或接收端单独的天线选择或者收发端同时进行天线选择系统的快速天线选择算法也进行了深入的研究,提出了在通信系统能够承受的计算复杂度下的天线选择算法,且实现性能与最优算法相近。2)发射天线重分组及接收天线选择技术在DSTTD系统中的应用实现。DSTTD系统通过将空间分集与空间复用技术有效的结合,使系统的性能较普通MIMO系统有了很大改善,当接收端结合天线选择技术时,在系统复杂度增加较小的情况下,系统性能能够得到大幅的提高。通过有限的信息反馈,调整DSTTD系统发射天线的搭配,系统性能仍然能够得到进一步的增强。3)天线及用户选择在多用户MIMO系统中的应用实现。为优化多用户MSLNR预编码系统的性能,提出了轮询算法、基于模值的算法以及基于吞吐量分析的快速用户选择算法。为了让用户间得到公平的服务,针对基于模值的算法及基于吞吐量分析的快速用户选择算法提出了修正加权alpha公平调度算法。为增加系统灵活性及优化系统性能,对于结合发射天线及用户选择的EQoS-ZF系统,快速发射天线与用户选择算法被提出,该算法计算复杂度低,且性能与系统最优相近。通过这一优化,EQoS-ZF系统在发射能量一定的情况下用户服务质量得到有效的提高,另一方面,当用户服务质量一定的情况下,系统发射能量得到了有效降低。总之,通过对天线选择算法在空间向量、凸优化及公式推导等三个不同的角度分析,得到了计算复杂度低但性能接近最优的天线选择算法实现。将DSTTD系统结合天线重分组技术,能够在一定程度上改善系统性能,尤其对于独立信道下系统性能的改善尤为明显,进一步结合接收天线选择技术,系统的性能可以得到更大的提高。针对MSLNR预编码系统提出的三种不同用户选择算法都可以有效的降低用户间干扰,优化系统性能,进一步结合提出的用户调度算法,用户间服务的公平性也可得到保障。对EQoS-ZF系统的天线及用户选择算法的研究,使该系统在增加较小的硬件复杂度及计算复杂度的条件下系统的性能得到较大的改善。论文最后总结了该研究领域亟待解决的一些问题和下一步的研究重点,同时对该领域的发展趋势进行了展望。