无线通信系统中频谱资源有限,面对不断增长的数据速率的需求,如何提升频谱效率、增强传输可靠性成为新一代无线通信需要解决的关键问题。全双工技术同时同频发送和接收信号,理论上能使频谱效增加一倍。无线通信系统中以协作方式工作的中继技术,可以有效抵抗信道衰落,增强小区覆盖。全双工双向中继集成了全双工和中继技术的优势,但同时其带来的自干扰限制了性能的提升,因此,本文旨在研究全双工双向中继系统的中继策略。针对不同的应用场景,设计有效的传输策略,抑制残余自干扰,提升频谱效率。本文主要进行了以下几个方面的研究:第一,针对存在直传链路的全双工双向多用户多中继系统,提出低复杂度的联合用户-中继选择策略。根据直传链路的信道状态信息,以最小信干噪比最大准则首先选定用户,由此将系统模型简化为单用户的双向多中继网络,后以最小化中断概率准则选定中继节点。基于以上策略,理论推导得出了该中继策略下中断概率的闭解表达式,并与基于穷举法的传统中继选择策略进行了性能对比。结果表明,所提出的联合用户-中继选择策略在降低选择复杂度的同时能获得与穷举法相近的系统中断性能。第二,针对全双工双向MIMO中继系统,提出联合设计中继收发波束成形算法。系统基于放大转发的全双工MIMO中继,在各通信节点功率单独约束的条件下,以最大化系统容量为目标,联合设计了中继的收发波束成形向量。该优化问题是一个非凸问题,通过迭代法进行求解。首先取定中继的发送波束成形向量,将容量最大化问题通过求导以及解一元高次方程的方法,得到近似解和闭解表达式,获得接收波束成形向量,计算其系统容量。然后取定中继处接收波束成形向量,以同样的思想优化发送波束成形向量,求解出此时系统容量。如此反复迭代,直至迭代过程中两次系统容量差值的绝对值小于给定的阈值。最后一次迭代过程的收发波束成形向量将作为优化结果。仿真结果表明,与传统波束成形方案相比,所提出的收发波束成形设计方案能获得更高的系统容量。第三,针对全双工双向多用户对多中继系统,考虑N组用户对通过竞争M个中继进行双向通信,基于最小信干噪比最大准则,提出了一种联合用户对和中继选择的传输策略。在高信噪比下,传输策略近似为双向链路最小信道模值最大策略。通过对该传输策略下的系统中断概率进行分析,得到了中断概率的闭解表达式,并进行了蒙特卡洛仿真。仿真结果表明,所提出的传输策略能够实现用户对之间的双向高效信息传输,随着中继数和用户对数的增加能够实现更低的系统中断概率。综上,本文针对全双工双向通信不同的应用场景,提出了相应的中继策略,为全双工技术的发展和应用提供了参考。