未来无线通信的两个主要挑战是提高系统的频谱利用率和通信链路的可靠性。研究表明，多天线（MIMO）信号处理技术中的垂直贝尔实验室分层空时（V-BLAST）编码技术作为一种对抗频率选择性衰落的手段，能有效地提高数据通信速率。而且由于其实现相对简单，因此成为下一代通信系统中首选的解决方案之一。传统的V-BLAST 方案虽然可以提供相当高的频带利用率，但其突出缺点是解码算法容易产生误码传播，误码性能相对较差，从而限制它的实际应用。因此，在考虑实用性的情况下，如何做到速率、性能以及复杂度之间很好的折衷是目前V-BLAST 实现实用化最为关键的问题。 本文正是针对此问题，提出了一种在保证传输速率情况下，基于降低误码概率考虑的低复杂度的V-BLAST 解决方案。与通常的仅从译码算法角度考虑的方案不同，该方案从系统的角度出发，将发送端和接收端作为整体考虑，实现了整个系统的高速率、高性能、低复杂度的空时传输方案。并通过仿真证明了改进方案的有效性。另一方面，传统的对多天线系统的研究都是假定信道理想，即MIMO信道高秩且不相关。但是在实际传输环境当中，或由于发射机/接收机的天线相关，或由于信道矩阵秩的变化，可能形成各种非理想的信道模型。因此对相关MIMO 信道下的空时系统的研究更具有现实意义。于是本文也基于该考虑，在解决了前一个问题的基础上，对相关信道下的分层空时系统提出了解决方案。考虑到弱信道相关性对于系统的性能影响大，本文将天线选择技术应用到了相关衰落的分层空时系统中。仿真结果表明，天线选择技术对于强相关衰落下的分层空时系统的性能改善确实很好，而且复杂度并不高，因此具有很高的实用价值。