协作通信技术利用网络中其它节点协助当前节点进行通信，通过使用其它节点的天线可以实现多跳或混合多跳传输。在蜂窝网络中，使用中继进行协作，可以有效地扩展小区覆盖面，提高小区边缘用户的服务质量。如果辅以MIMO和OFDM技术，中继协作能进一步提高系统容最和稳定性。基于这些优点，中继协作已经成为包括LTE-Advanced和IEEE 802.16m在内的下一代移动通信系统中的一项关键技术。本文研究了中继协作通信系统中的协作算法，以优化链路性能为目标，研究了多个场景下基站和中继端信号处理的一些关键问题。论文的主要工作如下：　　 1.研究了单中继协作信道的性能，推导并分析了MIMO中继协作模型下多路复用结构的子信道功率分配算法，包括基站、中继独自进行功率分配和基站、中继联合功率分配。　　 2.研究了MIMO中继协作系统中基站、中继波束形成的设计，使用Grassmannian码本，提出了一种基于降权重因子的中继端设计的有限反馈波束形成，以及基于用户端设计的有限反馈波束形成。　　 3.研究了单天线多中继协作场景下的分布式波束形成，包括系统总功率约束和节点独立功率约束，并进行了性能分析和数值仿真。　　 4.研究了多天线多中继协作时的中继端信号处理，通过多种方案的仿真比较，全面考察了节点多天线增益和分布式多天线增益的关系及其对系统性能的影响。　　 5.在节点独立功率约束条件下，使用概率论模型理论推导了几种中继选择算法信噪比的概率分布和系统中断概率；以此为根据研究了多中继协作场景中的中继选择问题，针对DF和AF两种中继转发模式设计了中继选择方案，并进行了仿真验证。　　 6.将多用户通信引入MIMO中继协作系统中，分析了这种模型下几种容量界；提出了一种基于随机波束形成的SDMA多用户调度、通信方案，并考虑了其系统级实现问题。随后还简要考虑了使用OFDMA实现多用户中继协作通信中的关键问题。