随着信息技术的发展,无线通信尤其是移动通信在社会生产和生活中发挥着越来越重要的作用。无线通信环境的时变性和不稳定性引起的衰落严重影响了无线通信质量。几十年来,众多学者一直致力于寻求抵抗无线通信信道衰落的技术并取得了一系列突破性的进展。信道编码是其中一种典型技术,通过扩展信号的带宽以达到近似无差错传输的目的,其中Turbo码和低密度奇偶校验(LDPC)码能够达到与香农限非常接近的性能。然而,由于各种无线通信系统的出现,无线频谱资源变得越来越紧张,对于带宽的有效利用已经成为除抵抗衰落外的另一关键问题。多输入多输出(MIMO)技术利用发射端和接收端配置的多根天线取得空间分集,不需要扩展信号的频谱就能达到抗衰落的目的。同时,在发射端使用多天线可以获得空间复用的效果,以提升数据传输速率。实际上,大部分无线终端由于体积、电源功率等因素的限制,没有能力配备多根天线,这也极大限制了MIMO技术的使用。协作通信的提出提供了一种新的思路,即在无线终端装备单天线,各个无线终端可以共享彼此的天线,从而形成一个虚拟的MIMO系统。中继如何协助转发信源信息是协作通信的关键问题之一。目前在协作通信中比较常用的有放大转发(AF)、译码转发(DF)和编码协作(CC)三种协议。同时将这些简单的协议相结合,以提高一定复杂度为代价,可以取得更好的性能。在多中继协作通信系统中,中继选择成为另一个关键问题。机会中继(OR)作为一种有效的中继选择方案,受到了众多学者的关注。然而,机会中继在多数情况下并不能同时利用最佳的信源到中继链路和最佳的中继到目的端链路,一定程度上限制了性能的提升。之后,缓冲中继(BR)被提出,通过一定的时延克服了上述机会中继的瓶颈问题,在对于时延不敏感的通信系统中能够进一步提升系统性能。本文致力于研究多中继协作通信系统的传输优化,从协作协议和中继选择两方面提升系统性能。将一种具有非常优异性能的增量混合译码放大转发(IHDAF)协议分别与机会中继以及缓冲中继相结合,并分别应用于不同实际情况的协作通信系统中,通过获得空间分集抵抗衰落,提升系统性能。具体来说：1)将机会中继与IHDAF协议相结合,提出一种适用于多中继协作通信场景的基于机会中继的增量混合译码放大转发(OR-IHDAF)方案。同时,使用基于累积分布函数(CDF)和概率密度函数(PDF)的方法对OR-IHDAF方案的中断概率进行了理论分析,通过计算机仿真验证了理论分析并与已有方案做出对比。2)对OR-IHDAF方案的误比特率(BER)性能进行了分析。由于复杂协议切换和多中继节点选择方案的结合,传统的对于BER性能的理论分析方法变得非常复杂。因此提出了一种基于泰勒级数展开的方法,并通过有限次数的迭代最终求得BER的理论结果,通过计算机仿真验证了理论分析并与已有方案做出对比。3)机会中继能够选择出最佳中继,然而最佳中继在某些情况下是不可用的,对于第M好中继的选择是必要的。一种不同于1)中的PDF被用于基于第M好中继选择的IHDAF方案的中断概率理论分析,同时给出了仿真结果。4)对一些对时延不敏感的系统,提出并分析了基于缓冲中继的IHDAF (BR-IHDAF)方案,具体可分为基于无限长度缓冲中继的IHDAF (ILBR-IHDAF)方案和基于有限长度缓冲中继的IHDAF (FLBR-IHDAF)方案。对于在每个中继装备多长单元的缓冲器能够使得FLBR-IHDAF方案的中断概率性能紧致逼近ILBR-IHDAF方案同时又不会造成过高的硬件实现成本和时延的多因素折中问题,通过仿真分析给出了具有实际参考意义的结论,同时将FLBR-IHDAF方案与已有方案做出对比。