随着无线通信技术的快速发展,无线通信用户数和用户需求也成指数性增长,这就对无线通信系统提出了更高的要求。多输入多输出(Multiple-Input-Multiple-Output,MIMO)技术因为具备为用户提供更高的数据传输速率的能力而得到了人们的广泛关注;信号空间对齐(Signal Space Alignment,SSA)技术作为多址接入方式中的一种,通过充分复用空间资源实现多个独立信息流的无干扰传输,可以减少信息对系统空间维度的占用,从而提高空间资源的利用率。近年来,出现了许多关于SSA技术在多用户MIMO中继系统中应用的研究,但这些研究主要集中在系统自由度的推导,对于系统可靠性的研究较少,因此本文重点关注MIMO多向中继系统的可靠性。首先,针对MIMO多向中继对称传输(MIMO-Y)系统,本文提出了基于信号空间重构的传输方案。该方案中,我们先通过增加用户天线冗余来增加用户预编码矢量选择的灵活度,再根据对齐信号矢量两两正交的原则来选择用户预编码矩阵。信号空间重构后,因为对齐后的信号矢量相互正交,相较于传统方案,信号矢量之间的夹角增大了,因此符号之间的最小距离增大,系统的平均误码率改善。在此基础上,还设计了一种最优搜索算法,最大化正交方向上的信道增益,使符号之间的最小距离最大化,从而提高中继译码性能。为了进一步改善系统误码率性能,中继采用最大似然(Maximum Likelihood,ML),但ML译码的复杂度太高,因此本文提出一种基于对齐信号矢量正交的简化ML译码方案。接着将研究信道拓展到多输入多输出中继非对称(MIMO MWR)信道,并分析了此时的天线约束和性能。其次,针对MIMO多向中继干扰信道,本文提出了基于最大信干噪比(Signal-toInterference-plus-Noise Ratio,SINR)准则的MIMO中继放大转发(Amplify-andForward,AF)传输方案。该方案在多址接入(Multiple Access Channel,MAC)阶段,用户进行信号对齐预编码后发送给中继,经过预编码后的交互信号在中继对齐。广播(Broadcast Channel,BC)阶段,中继将接收信号放大转发,用户接收信号后进行SINR干扰抑制后再进行迫零译码可以得到期望的接收信号。该方案将中继的策略从译码转发(Decode-and-Forward,DF)简化成AF,中继不需要做复杂的处理,大大简化了系统的复杂度,提高传输速率。同时,本文用SINR方案代替了迫零干扰抑制方案,提高了中低信噪比时系统的容量。