MIMO(Multi-Input-Multi-Output)即多输入多输出技术，在不提高发射功率和频谱带宽的前提下，有效地提高了系统的容量和频谱效率，并且带来了两大增益：复用增益和分集增益。中继系统由于能够延伸通信的距离，克服阴影衰落，同样被引入第四代移动通信中。其中放大转发(AF，Amplify-and-Forward)中继由于处理简单，时延短而受到广泛的研究和应用。把MIMO技术和中继技术结合起来，可以进一步提升系统的性能。而另一项关键技术-Femtocell作为提高室内信号覆盖问题的技术同样受到了广泛的研究，它是一种低功耗，由用户安装的小型基站，在可以提高用户信号质量的同时，间接延长终端的电池时间，也大量节省了运营及维护成本。但是多用户系统带来系统增益的同时，同样也带来了用户之间的干扰。预编码技术和功率控制技术作为有效抑制干扰，提高系统的性能的关键物理层技术，已经得到了深入的研究。本文重点研究了在多用户MIMO中继系统如何进行预编码的设计，以及在家庭基站(femtocell)网络中进行预编码(波束成形)的设计和功率控制。首先，本文考虑存在直传链路的多用户MIMO系统，以最小化均方误差(MMSE)为准则，受限于中继发射功率的限制，研究了中继预编码和目的节点接收机的设计，通过理论推导，得到了中继预编码和目的节点的迭代表达式，最后通过迭代算法来联合优化中继预编码和目的节点的接收机。本文提出的方案与不考虑直传信道，以及其他的方案，如LMMSE方案相比，在均方误差(MSE)和比特误码率(BER)性能方面，有了一定的提升。接着，发射机很难得到完全的信道状态信息，因此总是存在信道估计误差的。因此本文以多用户MIMO信道系统为模型，提出了基于信道估计误差的联合预编码的设计方案。把信道状态信息估计误差建模成随机高斯变量，以系统的平均均方误差为目标函数，以基站和中继的发射功率为限制条件，把原问题由复杂的非凸优化问题转化成两个凸优化的子问题，并且得到基站和中继预编码的相应的闭式解。仿真表明，本文提出的方案与不考虑信道估计误差的联合预编码设计，以及基于信道估计误差的中继预编码相比，有更好的比特误码率性能。然后，预编码(波束成形)对干扰管理起到了重要的作用，因此把波束成型和中继引入家庭基站网络中，进行相应的干扰管理。本文以总的发射功率为目标函数，以宏用户和家庭基站用户的均方误差为限制条件，通过理论推导，把问题转化为SOCP凸优化问题，并提出迭代算法，联合优化宏基站、家庭基站以及中继的预编码。仿真表明，当用户均方误差阈值升高，系统的发射功率会降低。多用户中继系统和多用户家庭基站网络中还有很多问题值得进一步研究。在包含直传链路的多用户中继系统中，直传链路用户和中继用户之间的选择，需要设计相应的算法。此外在家庭基站网络中，引入认知无线电技术进行干扰管理也是有待研究的。