未来移动通信系统必须利用日益趋紧的无线资源进行更高速率的数据传输，为了适应这一不断增长的需求，采用多天线发射和多天线接收的MIMO系统以其能够充分挖掘利用空间资源，最大限度地提高频谱利用率和功率效率，而受到广泛重视。空时编码是实现MIMO系统上述目标的切实有效的手段，其中酉空时码十分适合发射机和接收机均未知信道信息的情况。本论文就酉空时码的设计、迭代接收、以及空间相关衰落信道中差分酉空时调制(DUSTM，Differential Unitary Space-TimeModulation)系统的预编码进行研究。 首先，提出了一种基于对角循环群码的改进的酉空时码设计。该方案不同于对角循环群码的是，所构造的码符号星座集中的酉矩阵，在主对角线和反对角线上交替出现非零元素，因此可称为对角交替的酉空对码。理论分析表明低信噪比下新提出的酉空时码的成对错误概率(PEP，Pairwise Error Probability)联合界小于对角循环群码。以PEP联合界为准则，通过进一步优化参数来提高新的酉空时码的性能。 其次，对基于对角星座变换的酉空时码进行了研究。一方面，针对三个发射天线的DUSTM系统提出了一种新的旋转矩阵设计，用于对对角循环群码进行变换得到新码，其性能优于此前基于Givens旋转的酉空时码。另一方面，提出了一种基于Householder变换的酉空时码的简化设计，与基于Givens旋转的设计不同的是，该方案只是对循环对角酉空时码星座集中的部分酉矩阵进行同样的Householder旋转，其余的酉矩阵保持不变，从而简化了设计，而其性能和文献中基于Givens旋转的酉空时码基本相当，甚至有些情况下更优。 接着研究了空间相关瑞利衰落信道中DUSTM系统的参数化预编码。导出了两种情况下PEP的闭式表达式：一是对于一般的酉空时码，在渐进高信噪比下计算其PEP；二是针对特定结构的酉空时码，即当码间的距离矩阵正比于单位矩阵时，导出了其PEP的严格表达式。给出了系统中配置两个发射天线时预编码矩阵的参数化形式，以PEP的联合界最小为准则优化其中的参数。 在瑞利平坦衰落信道中，针对酉空时编码系统，提出了一种非相干检测和相干检测相结合的迭代检测方案。该方案假定初始时信道未知，且不在发送码块中插入任何导频或训练序列。首先对酉空时码进行非相干检测，检测结果作为迭代的初值。然后在每一次迭代中由上一次迭代的检测结果得到信道的观测值，基于这些观测值利用维纳滤波器进行最小均方误差(MMSE)信道估计，进而进行相干检测。仿真结果表明，该方案不论对于正交酉空时码，还是对于无任何结构特点的非正交酉空时码，其性能均优于此前提出的广义二次接收机。 对于DUSTM系统，研究了基于EM算法的硬判决和软判决迭代接收机。前者是在EM算法用于最大似然(ML)估计的情况下得到的，将传统的差分酉空时解调器得到的数据序列进行差分再编码，来得到对发送信号序列的估计，作为迭代的初值。每一次迭代过程中，依次进行信道估计和相干检测。对于后者，将EM算法用于最大后验概率(MAP)估计，得到了针对循环群结构酉空时码的软输入软输出的迭代接收机。将传统的差分酉空时解调器得到的数据序列进行差分再编码，用来估计信道，作为迭代的初值。每一次迭代过程中，依次进行符号的软判决和下一次信道估计。最后一次迭代结束后，基于MAP准则进行符号的判决，再经过差分译码即可得到数据序列。软判决迭代的性能优于硬判决迭代。 最后，研究了空间相关瑞利衰落信道下预编码DUSTM系统的迭代接收方案。与独立衰落情况类似，分别将EM算法用于ML估计和MAP估计，导出了基于硬判决和软判决的迭代接收机。然而，由于预编码器和信道空间相关的引入，接收机呈现出与空间独立信道情况下不同的形式。空间独立信道下得到的迭代接收机是此处的迭代接收机当信道空间相关矩阵和预编码器为单位阵时的特例。