MIMO技术是未来宽带无线通信大幅度提升信道容量和改善通信质量的关键技术。目前，基于MIMO系统的分层空时码能够成倍地提高系统容量，但不能够获得分集增益；通过空时分组编码可获得分集增益来克服深度衰落，但典型的正交空时分组码和准正交空时分组码在获得低译码复杂度的同时均具有较低的编码速率。多用户分层空时编码将分层空时码与空时分组编码结合起来，通过将发送天线分成多个组（用户），每组（用户）独立进行空时分组编码，在接收端通过干扰相消分别译码来自各组（用户）的发送符号，在获得分集增益的同时能够提高空时分组码的编码速率，是目前多用户MIMO系统中广泛应用的一种空时编码方案。若采用最大似然（Maximum Likelihood，ML）译码算法译码，复杂度很高，不利于实际应用。部分干扰相消（Partial Interference Cancellation，PIC）分组译码算法通过发送符号分组和干扰相消并独立译码，在所有采用投影矩阵的同类分组译码算法中具有最优的误符号率。在单用户MIMO系统中，PIC分组译码算法通过编码设计可以较低的复杂度获得全分集性能。但对其在多用户系统中应用时的分集性能与空时编码设计尚无相关文献进行研究。论文以多用户分层空时编码系统为研究对象，研究采用低复杂度的PIC分组译码算法时的系统性能与译码算法改进，并研究基于低复杂度串行干扰相消（Successesive Interference Cancellation，SIC）辅助PIC（PIC-SIC）分组译码算法的全分集多用户空时分组码的设计。主要研究成果有：①提出多用户分层空时系统等效信道模型的获取方法。基于空时分组码的线性表示，通过矩阵变换获取了多用户分层空时系统等效信道模型的表示方程，并证明PIC分组译码算法的投影矩阵可以继续简化，从而进一步降低干扰相消后的译码复杂度。②研究采用ML译码和PIC分组译码算法时多用户分层空时编码系统的分集性能。基于空时编码设计的秩准则，证明多用户分层空时编码系统采用ML译码时，可获得与同样天线配置和空时编码方案的单用户MIMO系统相同的分集增益。论文进一步证明，PIC分组译码的K用户分层空时码系统，每用户具有M副发送天线和N副接收天线的情况下，采用Alamouti码和准正交空时分组码所能获得的分集增益为M(N-K+1)。该研究为低复杂度多用户分层空时编码系统提供了新的性能分析结果。③为提升PIC分组译码算法译码的多用户分层空时编码系统性能，通过对任意信道环境下不同分组方案干扰相消后功率增益的对比分析，提出了一种自适应分组译码算法，在任意信道环境下自适应地选择功率增益最大的分组方案，从而获得更优的系统性能。仿真结果表明，采用此自适应分组算法，可以比传统的分组方法获得约3dB的误码率增益。④传统多用户分层空时编码系统，采用PIC分组译码算法和其它干扰相消译码算法时，均会损失分集增益。论文通过改变编码方案，增强了分组译码时各分组等效信道矩阵所含矢量之间的独立性，并通过符号成对差错概率分析，证明所提编码方案采用PIC-SIC分组译码算法能够获得更高的分集增益。仿真结果表明，在频谱效率相同的情况下，所提方案比传统编码方案能获得更好的误码性能及更高的分集增益。