多用户MIMO中继通信系统能充分利用基站以及中继的多天线优势特性，提供额外的空间增益(包括复用增益和分集增益)，以及扩大无线网络的覆盖范围、降低无线接入成本，等等。然而，要想充分发挥多用户MIMO中继通信系统中的优势特性，必须依靠预编码与功率分配等核心技术。因此，本文以下一代蜂窝无线通信系统中的多用户MIMO中继模型(Type-II)为背景，围绕其中的多接入信道、广播信道以及双向中继信道中的预编码设计与功率分配问题做深入的研究，主要目的是为每一个信道模型设计一种可行的预编码设计与功率分配方案以进一步提升系统性能，为下一代无线通信系统的研究与建设提供指导作用。本文主要做了以下几点有价值的工作：1.对于多用户MIMO中继多接入信道中的预编码设计与功率分配问题，已有文献工作都是基于忽略信源与信宿之间的直接链路的中继信道模型，从而使得模型问题简单化，但是由此所得的预编码与功率分配策略并不能简单地推广到存在直接链路的信道模型中以使得系统性能最大化。为此，本文研究包括直接链路在内的预编码设计与功率分配，包括以系统容量最大化和以系统均方误差最小化为标准的两个问题。由于该问题的非凸非线性特性，本文提出一种分步优化联合设计的嵌套迭代设计策略。对于不同标准的两个优化问题，在本设计策略中，信源和中继节点都分别拥有相同的预编码结构，只是其中的功率分配方式有所不同。数值仿真结果表明，本设计策略与其他在设计时不考虑直接链路但是包括其贡献在内的策略相比，可以使系统性能获得更大的提升。2.对于存在直接链路的多用户MIMO中继广播信道而言，由于多用户干扰信号的存在，如果采用已有文献工作中的基于忽略直接链路模型所得的预编码设计与功率分配策略，将会导致直接链路的贡献几乎等于零。为此，针对该信道模型，本文首先研究以系统容量最大化为标准的预编码设计与功率分配问题。为了解这个非凸非线性问题，本文首先建立一个等价优化设计问题，然后提出一种联合信源预编码矩阵、中继节点收发处理预编码矩阵与信宿的接收处理矩阵一起设计的迭代优化设计算法，去解等价优化问题。在本算法的每一个迭代周期过程中，在给定中继节点与信宿的收发处理预编码矩阵后，通过建立一个凸优化方程去解决信源的预编码设计与功率分配问题；同理通过建立相应的凸优化方程去解中继节点的收发处理预编码矩阵设计与功率分配问题，最后交替迭代至收敛。然后，在上述迭代优化设计算法的基础上，本文还提出一个改进算法以解决以系统中最小用户速率最大化为标准的预编码设计与功率分配问题。数值仿真结果表明，本文所提出的算法能够综合利用直接链路与中继链路增益，从而可以使系统性能获得更大的提升。3.为了进一步提高系统频谱资源利用率，本文进一步研究多用户MIMO双向中继信道中的预编码设计与功率分配问题。在上述MIMO中继广播信道中的预编码设计与功率分配算法的基础上，首先提出一个改进的联合信源、中继节点与信宿的收发处理预编码一起设计的迭代优化设计算法。同样，在本算法的每一个迭代周期过程中，当中继节点的收发处理预编码矩阵和双向信宿的接收处理矩阵确定后，双向信源的预编码矩阵设计与功率分配可以通过建立并解相应的凸优化问题而确定；而当信源与信宿的收发处理矩阵确定后，最优的中继节点收发处理预编码矩阵也可以通过相应的凸优化问题来确定，最后交替迭代至收敛。针对中继节点的天线个数仅仅等于基站或所有用户天线个数的情形，本文提出一种计算复杂度相对较低的非迭代的预编码设计与功率分配方案。在该方案中，中继节点为了更好的处理来自用户端的多用户干扰信号，其收发处理预编码矩阵设计仅仅是基于用户与中继节点之间的信道信息。在确定中继节点的收发处理矩阵后，基站（一端的信源）的预编码矩阵设计可以依据一般的多用户MIMO广播信道中的预编码设计原理而定；而用户（另一端的信源）的预编码矩阵设计，则可以根据点对点MIMO信道中的酉矩阵预编码与功率分配方法而定。本文的研究主要是针对单蜂窝无线通信系统中的多用户MIMO中继模型，而且是在假定基站端完全知道所有信道信息的情况下得出的。而蜂窝无线通信网络将会向多小区联合协作通信方向发展。因此，在下一步工作可以考虑把本文所提的算法思想推广到：多个基站、多个中继以及更多用户的环境中，包括直接链路的多用户MIMO中继信道模型上，并且可以进一步结合有限反馈（Limited-Feedback）技术与用户选择策略，等等。