飞速发展的宽带和多天线技术通过深入挖掘频率和空间无线资源为无线移动用户以每秒百兆甚至千兆比特速率的通信提供了扎实的理论支撑。对无线通信高传信率、高频谱效率追求的同时，由于移动通信环境复杂多变，人们也一直关注如何保障处于阴影衰落以及处于非直接覆盖下的用户的高质量通信。中继技术与混合重传技术是解决上述困难的有效途径。在多天线系统中如何充分发挥它们的优势是文本研究的重点。　　 论文首先研究了如何为带有多服务的中继节点设计中继预编码。具体来说，我们在普通三节点中继系统中引入额外的一个目标节点。该目标节点与中继节点间有一条直接的且需要保障通信质量的链路。我们的目标是通过合理地设计目标一与目标二的预编码器，在保障目标二原有通信速率的同时尽可能提高对目标一节点的转发数据率。论文中对上述四节点模型进行分割，并将其转化成大家熟知的广播信道模型与三节点中继模型。对于广播信息模型，我们提出了一种迭代调水算法可以高效地逼近两用户在指定编码顺序条件下的广播信道容量域边界点;对于三节点中继信道模型，我们在不同的约束条件下为目标—优化了预编码矩阵。仿真结果表明了我们所提出的算法能够充分利用多天线技术优势获得比传统的时分复用方案更大的容量域。　　 论文而后研究在混合重传系统中如何保证重传质量的同时提高系统传输效率。论文提出了“分享重传”的概念，在保证接收端对重传符号处理后的信噪比不低于目标值的前提下对重传信号进行了线性压缩。然后将压缩后的重传信号“搭载”入新数据中并通过不同的正交子信道传输，从而提高了系统的传输效率。论文提出了一整套基于VBLAST方式发送和判决反馈均衡器的收发信机实现方案。该方案中我们以保障重传后符号信噪比的最小性能为约束条件，利用Cholesky分解推导出一套迭代算法。数值仿真结果验证了该算法的有效性。　　 论文随后探讨了三节点中继模型中传输非高斯信源时的源节点与中继节点预编码矩阵的联合设计。论文首先在一些假定条件下证明了中继以及源节点预编码的功率分配矩阵是中继信道互信息量的凸函数，而后推导出了中继节点预编码矩阵的最佳左矩阵。根据中继系统有、无直达径，我们分别对预编码矩阵的各个组成结构做相应的限制，利用梯度算法搜索出源与中继节点最佳预编码。数值仿真表明针对非高斯信源优化设计出的预编码矩阵的性能远优于传统采用高斯信源输入假设下所设计出的预编码矩阵。这一研究结果表明在实际系统中非高斯信源输入下有必要针对信源的类型做预编码器的优化设计。　　 论文最后着重研究在混合重传系统中如何为非高斯信源设计混合重传预编码。论文首先在无结构约束的多天线混合重传系统中探讨预编码矩阵的设计。与第五章中继系统的处理方式类似，论文证明重传预编码阵的功率分配矩阵是重传信道互信息量的凸函数，并且重传预编码矩阵的左矩阵依旧可以选择信道矩阵的右矩阵。数值仿真同样充分地验证了针对非高斯信源所设计的预编码器的优异性能。本章第二部分进一步研究了在并行信道下重传信号的最佳功率分配问题。论文利用发送信号最小均方估计误差与信道互信息量之间所特有的关系通过图解法分别研究单个符号单次传输以及多次重传。论文将该研究方法推广至对任意路同质信源的重传场景，把重传最佳功率分配问题分成两步解决:第一步，证明信号累积信噪比与信道增益间逆序匹配准则;第二步，将适用于多路非高斯信源功率分配的水银注水算法推广至多次重传中。另外，上述研究结论还适用于任意满足“单调非减凹函数”的目标函数，如符号错误概率的联合界等。仿真结果表明我们所提出的最佳功率分配方案的性能相比于高斯假设下的注水法有很大的优势，并且该方案对信道反馈误差也表现出了良好的鲁棒性。