中继MIMO (Multiple-Input Multiple-Output,多输入多输出)技术结合MIMO技术和中继技术的优势,能够进一步提高系统频谱效率、链路可靠性和小区覆盖范围,是未来无线通信提供热点覆盖的一种有效手段。多小区MIMO技术通过多个MIMO节点在backhaul链路上协作,能够有效抵抗小区间干扰、提高系统和边缘用户频谱效率,并能够扩大系统覆盖范围,是未来无线通信提供广域覆盖的一种有效手段。上述两种增强覆盖技术已经成为无线通信领域的重要研究热点。基于发送端获取的信道状态信息(Channel State Information, CSI),中继/多小区MIMO系统性能可以得到显著提升。然而,由于无线信道的时变性、信道估计的准确性和反馈信道的可靠性等因素,发送端并不能获得理想的CSI。因此,对非理想CSI情形下中继/多小区MIMO系统中的相关技术进行深入研究不仅是必要的,而且具有实际应用价值。论文具体研究内容和主要贡献如下：针对频分双工(Frequency Division Duplex, FDD)单用户空分复用放大转发(Amplify-and-Forward, AF) MIMO中继系统中的有限反馈联合预编码设计问题,提出了包括性能优化准则、码字选择方案和码本设计方法等一整套实际解决方案。该方案中提出的最大化最小后处理信干噪比(Signal-to-Interference and Noise Ratio, SINR)性能优化准则能保证获得最佳的BER (Bit Error Rate,误比特率)性能。在该优化准则基础上,提出了一种最优和一种次优联合预编码结构,并基于次优结构提出了一种实用的有限反馈联合预编码设计方案。针对码字选择方案需计算所有子流SINR最小值所带来的高复杂度问题,推导出了该SINR的下界,并基于该SINR下界提出了依赖于两跳信道、位于目的节点的联合码字选择方案,该方案具有最优的性能。针对联合码字选择方案复杂度高和反馈时延大的问题,提出了位于中继和目的节点可同时执行的独立码字选择方案,该方案在显著降低反馈时延和运算复杂度的同时具有与联合码字选择方案相近的BER性能。为进一步提高系统BER性能,提出了一种相比GSP(Grassmannian Subspace Packing, Grassmannian子空间包装)具有更好弦距性质的GLA (Generalized Lloyd Algorithm,广义Lloyd算法)码本构造方法。针对时分双工(Time Division Duplex, TDD)多用户AF MIMO中继下行链路系统中的鲁棒联合收发机设计问题,为适用于基站仅知第一跳CSI而中继已知两跳CSI的实际应用场景,提出了一种能有效对抗信道估计误差和TDD互易延迟影响的次优SVD-SMSE联合鲁棒设计方案。针对基站预编码器设计,采用了基于第一跳信道奇异值分解(Singular Value Decomposition,SVD)的波束成形方案和对CSI误差鲁棒的等功率分配方案,避免了第二跳CSI的反馈开销。针对中继转发矩阵和用户均衡器的设计,建立了给定中继总发送功率约束下最小化和均方误差(Sum Mean Square Error, SMSE)的联合鲁棒设计问题,并利用KKT(Karush-Kuhn-Tucker)条件给出了闭式解。仿真验证了所提次优方案的有效性和鲁棒性。针对TDD分布式AF MIMO中继辅助多用户对等通信系统中的鲁棒中继波束成形设计问题,基于SINR性能度量,首先提出了能有效对抗统计CSI误差影响的两种最优鲁棒设计方案：(1)从公平性角度出发,在中继总发送功率约束下实现多个目的节点间的SINR平衡；(2)从有效性角度出发,在保证目的节点QoS(Quality of Service,服务质量)需求(SINR大于门限)条件下最小化中继总发送功率。基于半定松弛(Semidefinite Relaxation, SDR),思想,将上述NP-hard问题转化为能应用内点法有效求解的半定规划(Semidefinite Program, SDP)问题。考虑到上述SDP问题的运算复杂度与中继天线数目呈4次幂增长关系,通过将迫零(Zero-Forcing, ZF)约束应用到波束成形矢量设计中,进一步提出了与上述最优设计相对应的、能显著降低运算复杂度的两种次优鲁棒设计方案。仿真验证了所提设计方案的鲁棒性和有效性。此外,仿真结果提供了选择具体鲁棒波束成形设计的指导方针,该方针由中继天线数目和CSI误差大小决定。针对FDD有限反馈分簇协作多小区传输系统,提出了一种联合用户反馈比特分配和基站功率分配策略,解决了传统反馈比特分配策略仅使用等功率分配而无法获得宏分集的问题。考虑到平均和速率表达式不易于分析,采用了一个修正性能度量——虚拟和速率来减轻推导和分析的困难。基于推导得到的虚拟SINR下界,在每用户总反馈比特数目一定和每基站总发送功率一定的约束下,建立了一种最大化虚拟和速率下界的联合反馈比特分配和功率分配优化问题。针对反馈比特分配和功率分配之间的紧密耦合问题,提出利用协调上升搜索方法来交替迭代求解反馈比特分配子问题和功率分配子问题,并针对两个子问题分别给出了一种注水闭式解和一种能有效求解的迭代注水功率分配算法。进一步提出了交替迭代算法并给出其收敛性分析。仿真表明所提联合策略相比传统反馈比特分配策略能得到更优的性能。