基于多维星座的网格编码调制(MD-TCM)是一种比二维网格编码调制(2D-TCM)具有更多编码增益的高带宽利用率传输方案。多维网格编码调制具有相位旋转不变性、译码复杂度低、可以实现非整数值的谱效率等优点。基于多输入多输出技术的空时编码是无线通信的一种新的编码和信号处理技术,它在不同天线发射的信号间引入时域和空域相关性,在不增加带宽的情况下成倍地提高无线通信系统的容量和频谱利用率,被认为是未来无线通信系统中的关键技术之一。本文主要研究在衰落信道下,基于多维TCM的空时编码系统的性能。文中首先介绍了MD-TCM的设计和编译码原理,仿真比较了其相对于2D-TCM的性能。为了进一步提高MD-TCM的性能以适用于衰落信道,本文提出LDPC级联TCM的串行级联编码模型,该系统结合了LDPC抗突发错误能力强和TCM高带宽利用率的优点,仿真表明LDPC能有效地提高TCM的性能。同时,本文比较分析了在相同谱效率下,LDPC-TCM相比LDPC调制系统没能体现优势的原因。然后,在简要的介绍空时分组码(STBC)和分层空时码(LSTC)基本原理的基础上,从空间分集和空间复用这两个角度出发,将MD-TCM应用于这两种空时编码技术来提供编码增益和分集增益。最后,我们设计了一种考虑空间分集和空间复用有效折中的MDTCM分层STBC系统,且在维特比译码器中引入迭代信号处理方式进行译码,以达到误码率性能和计算复杂度的折衷,是一种复杂度较低,性能较好,实际可行的系统。