随着移动互联网技术和多媒体业务的飞速发展,如何提升无线通信系统的有效性和可靠性是下一代移动通信面临的关键问题。多输入多输出(MIMO)技术可以在不增加带宽和发射功率的情况下成倍地提升系统的频谱效率,成为下一代无线通信中的关键技术。协作中继系统通过节点间共享天线,可以构成一个虚拟MIMO系统,从而实现较高的分集增益和频谱效率。在MIMO和虚拟MIMO系统中采用空时编码技术可以大大提高系统性能,近年来得到了广泛应用。本文对MIMO和协作中继系统中的空时编码技术进行了研究。本论文在国家科技重大专项(2009ZX03002-009-01)和国家自然科学基金(60872149,60672132)的支持下,研究了MIMO和协作中继系统中的空时编码技术。本论文主要工作及创新成果包括：(1)广义平衡空时分组码(EBSTBC)是一种考虑发送端已知信道状态信息的典型空时分组码,该方案编码速率为1,能够实现全分集,并且适用于发送端为任意发射天线数的系统。但是该方案的接收端采用穷举方法计算反馈信息,具有很高的计算复杂度。针对这一问题,本文提出了一种低复杂度的EBSTBC反馈信息计算方法。该方法首先分析了与反馈信息相关的编码增益,并通过两步求最优的的方案确定此次传输的反馈信息。与已有方案相比,所提方案可以在系统可靠性损失很小的情况下,极大地降低接收端计算反馈信息的复杂度。(2)全速率全分集的空时分组码(FRFD-STBC)具有全速率全分集的特性,但是其译码复杂度仍然较高,与调制阶数的平方成正比。为了进一步降低FRFD-STBC的译码复杂度,论文提出了一种基于有限反馈预编码技术的编译码方案。该方案通过设计预编码参数,使得发送信号的实部分量和虚部分量在传输过程中保持正交,因此在接收端可以分别译出信号的实部分量和虚部分量,所提方案译码复杂度与调制阶数呈线性关系,与FRFD-STBC方案相比,所提方案能够以少量的比特反馈为代价,极大地降低了译码复杂度。(3)在多中继节点的协作中继网络中,基于广义ABBA(GABBA)码的分布式空时码能够适用于中继数大于2的场景,且能够保证不牺牲编码速率,但是这种准正交编码方案无法避免传输过程中的干扰,会影响系统的译码性能。为了进一步提升系统的可靠性,本文充分利用接收端信道状态信息,提出了一种基于1比特反馈的改进方案,并将其扩展至反馈信息为相位码本的情形。该方案通过对干扰项的分析,以最大化信号干扰噪声比为目标,设计反馈信息。与已有方案相比,所提方案以1比特的反馈量为代价,显著改善系统的误比特性能。(4)在半双工多中继协作网络中,已有分布式空时码技术只能实现传输效率为1/2,为了提高传输效率,本文提出了一种基于中继选择的连续转发分布式空时码方案。所提方案适用于中继数不少于4的多中继协作场景,在每一时隙依据双中继选择准则选取两个可用中继节点参与下一时隙的协作转发,转发策略采取基于Alamouti分布式空时码的连续放大转发。为了消除连续转发带来的中继间干扰并保证系统的分集增益,本文提出了一种连续干扰消除的方法,并给出了接收端的信号检测算法和三种双中继选择准则。所提方案能够在不损失分集阶数的前提下,使多中继协作系统的传输效率接近1。在相同传输速率下所提方案能够获得比已有分布式空时码更低的误比特率。同时,双中继选择准则的引入还让所提方案对多中继协作系统有更强的灵活性和适用性。