多天线技术（MIMO）能够提供空间复用和空间分集增益，具有增大系统容量，抗信道衰落能力强等优点，被广泛应用，并成为下一代无线通信的必备技术之一。另一方面，协作机制能够扩大网络覆盖范围，提升小区边缘用户的通信质量。因此，将MIMO技术与协作中继的结合形成多天线双向中继系统，该系统在保证通信可靠的同时，能够实现传输速率的大幅度提升。本文研究基于多天线双向中继系统的中继优化及联合优化问题，主要工作如下：1、对双向中继系统合理建模并分析了其容量性能，推导了基于放大转发协议的系统容量上界；2、针对多天线双向中继系统达到最大化和速率(sum-rate)，提出了一种无约束条件的凸优化算法。该算法将包含功率约束条件的目标函数等效变形为无约束条件的优化问题，对此非凸优化问题进行松弛运算得出次优解。仿真结果表明，该算法能够有效降低运算复杂度，提高系统容量；3、提出了一种基于信道范数最大化为目标问题的算法。该算法将通信系统的模拟信噪比作为加权参数进行迭代优化，得出中继预编码矩阵。仿真结果表明，该算法能够有效提升系统和速率性能，具有较低的计算复杂度；4、设计了一种双向中继系统的联合预编码方案，利用交替迭代的方式来优化联合预编码矩阵。仿真结果表明，该方案能够有效地提高系统容量，大大降低了计算复杂度。