多输入多输出（MIMO），即在通信系统的发射端和接收端同时配置多根天线，可以极大地提高系统的频谱效率和通信链路的可靠性，从而成为下一代无线通信系统的关键技术之一。其中单用户MIMO技术的研究已趋成熟，多用户MIMO尚存许多有待解决的问题。与此同时，中继（Relay）的使用一方面形成了“虚拟”的MIMO（virtual MIMO），也叫协作分集，另一方面在不增加发射功率的情况下延伸了网络的覆盖。然而中继的加入使得MIMO系统设计和分析更加复杂。为此，本文首先从信息论的角度研究了多用户MIMO系统的传输优化问题，然后针对基于中继的MIMO系统，研究了存在单个中继时MMO系统的性能。具体内容如下： 首先我们提出了MIMO MAC中和速率容量最大化的并行迭代多用户注水算法，其基本思想是在每次迭代时，把更新用户以外的用户等效为噪声，同时更新每一个用户，同W.Yu的算法相比，本文提出的算法收敛速度更快，且不依赖于用户数。接着我们研究了和速率约束下衰落MIMO BC中和功率最小化问题。通过MIMO MAC和MIMO BC的对偶性，把非凸的下行链路问题转变成了凸的上行链路问题，然后根据凸优化中原问题和拉格朗日对偶问题的等效性，基于子梯度和一维线性搜索方法，提出了迭代注水算法，解决了拉格朗日对偶问题，从而也解决了衰落MIMO BC中和功率优化问题。最后通过理论分析和计算机仿真证明了上述算法的收敛性和有效性。 对于基于中继的MIMO系统，研究对象为发射端和接收端有多根天线，而中继只有一根天线的两跳中继系统模型，为了尽可能地简化中继，中继采用了放大转发的信号转发协议。另外，在发射端采用天线选择策略，而在接收端分别采用天线选择和最大比合并两种不同的方案。当接收端采用天线选择策略时，本文首先研究了如何选择发射天线和接收天线的问题，当接收端采用最大比合并时，本文证明了此时的最大比合并等价于最大似然检测。而后我们分别导出了使用两种不同接收方式时系统中断概率的封闭表达式，进而再根据发射端调制方式得出了相应的平均误码率表达式，并通过理论分析得出了该系统的分集阶数，最后计算机仿真验证了本文导出的中断概率和平均误码率的正确性。 在上述工作的基础上，我们进一步针对在发射端和接收端有多根天线，而中继只有一根天线的两跳中继系统，利用正交空时分组编码（OSTBC）发射策略（此时发射端不需要任何的信道反馈信息，从而节约了系统的开销），导出了接收端信噪比的表达式和系统中断概率的封闭表达式，同时根据发射端调制方式的不同，给出了相应的平均误码率精确表达式以及系统的分集阶数。另外，当发射端和接收端存在直接通信链路时，根据矩生成函数（MGF）的方法，我们导出了当发射端采用MPSK和MQAM时，系统平均误码率的精确表达式。最后计算机仿真表明了上述理论分析结果与蒙特卡洛（Monte Carlo）仿真一致，从而验证了理论表达式的正确性。