衡量一个通信系统性能优劣主要是考察其有效性、可靠性和安全性这三方面性能。与有线通信相比,无线通信在有效性、可靠性和安全性方面面临更为严峻的挑战：一方面,多径衰落效应将导致接收信号畸变、信噪比较低,从而影响信息传输有效性和可靠性：另一方面,无线信道的开放性将导致传输信息易被窃听器截获,从而使得信息传输的安全性降低。近年来,MIMO技术和协作通信技术被认为是改善和提高无线通信系统这三方面性能的有效手段,受到学术界和产业界的广泛关注和深入研究。无线协作通信技术的核心研究内容是设计有效的协作传输策略,使得无线通信系统在有效性、可靠性或者安全性方面的性能得到明显的改善。众所周知,复用增益与分集增益分别是评价MIMO无线通信系统有效性和可靠性的性能指标。已有的研究表明,复用增益和分集增益之间是此消彼长的关系,即高复用增益会导致较低的分集增益,反之亦然；分集复用折中(DMT)正是反映了分集增益和复用增益之间的这种折中关系。因此,通过分析DMT性能来评估协作传输系统有效性和可靠性是一个合理的选择。另外,衡量传输系统安全性的性能指标通常采用“安全速率”,其含义是授权用户能正确解码、而窃听器不能解码的信息传输速率。本文针对几种典型的无线协作通信场景,研究基于DMT优化或者安全速率优化的无线协作传输策略。在对抗多径衰落方面,设计更为有效的多中继协作传输策略,优化系统的DMT性能；在对抗窃听方面,设计更为有效的混合式协作传输策略,达到更大的安全速率。本文主要研究内容与贡献如下：1)对于多中继点对点信道模型,提出了一种基于中继复用的协作传输策略。该策略的基本思想是用两个半双工中继模拟一个全双工中继,克服中继的半双工限制；另外,该策略融合了分层中继选择和线性迫零算法,其中分层中继选择保证了最优的分集增益,而复杂度较低的迫零算法用于消除中继间干扰。理论分析和Monte Carlo仿真实验表明该策略能优化系统的DMT性能,并且能逼近多输入单输出(MISO)系统的最优上界。2)对于多中继多接入信道模型,提出了一种基于叠加编码和中继复用的协作传输策略。该协作策略的特点是保证每个源信息能在各个源端以及中继上被发送,从而实现源端之间以及源端与中继之间的完全协作,从而达到该系统的最优分集增益。理论分析和Monte Carlo仿真实验表明,该策略能优化系统DMT性能,并且能逼近最优MISO系统的上界。3)对于中继窃听信道,提出了三种混合式协作传输策略：基于有噪网络编码(NNC)的策略、基于部分解码前传(PaDF)的策略、基于人工状态(AS)的策略。第一种协作策略融合了NNC压缩前传技术和干扰协助技术,其中的NNC压缩前传技术是为了提升授权用户间的通信能力,而干扰协助技术是为了抑制窃听信道,从而达到帮助主信道、同时抑制窃听信道的效果。第二种协作策略利用叠加编码、反向解码等基本编解码方法,融合部分解码前传技术和噪声前传技术,以提升授权用户间的通信能力、同时抑制窃听信道。第三种协作策略融合了人工状态和噪声前传技术,其中的人工状态是由源端产生,它联合中继产生的干扰信息可以有效地抑制窃听信道,而不对目的端产生任何损害。这种协作策略的特点是中继不接收任何源端信息,因而不受源端到中继信道质量的影响。另外,针对高斯中继窃听信道,对以上三种协作传输策略作了具体的设计,并利用信息论安全基础理论分析了它们的可达安全速率。理论分析和数值结果均表明所提协作策略可以提升系统的安全性能。4)对于具有“会议”的多接入窃听信道,提出了一种基于Willems编码的混合式协作传输策略。其基本思想是融合Willems编码和Wyner的随机盒子技术,既可以通过“会议”链路提升源到目的端的通信能力,又能通过多接入窃听信道抑制窃听器的窃听能力。另外,利用信息论安全基础理论分析了该策略的可达安全速率域以及安全容量域的外界。基于以上所提协作策略,并针对高斯多接入窃听信道,设计了两种具体实现方案：基于多路复用的方案和基于协作时分多址接入的方案。理论分析和数值计算结果表明,源端之间的“会议”链路能有效提升系统安全性以及各个源端的安全速率。