认知中继技术和全双工技术能够提高频谱资源利用率,是缓解目前频谱资源短缺问题的关键技术。随着移动通信技术的发展,在认知中继网络中可作为中继的候选终端大量存在,采用不同的终端作为中继以及终端采用不同的双工模式进行通信将会为系统带来不同的影响,因此,研究认知中继网络下的中继选择问题以及中继的双工模式选择问题具有重要意义。现有认知单中继选择技术缺乏全/半双工模式切换准则,导致中继节点双工模式单一,此外,仅以次级用户网络系统性能作为唯一优化指标选择中继,导致主用户网络和次级用户网络联合性能不是最优。针对这个问题,以AF协议和DF协议为例,在对次级中继网络全/半双工模式切换关键因素—自干扰临界点分析的基础上,提出了相应的模式切换准则,并给出一种低干扰的混合双工模式切换中继选择算法。在此算法中,每个候选中继在采用AF和DF协议的情况下分别根据模式切换准则进行最佳双工模式的选择,此外以主用户网络性能损失和次级用户网络性能增益的综合收益作为指标进行中继选择,进而达到最大化主用户网络的牺牲价值,优化包括次级用户网络和主用户网络在内的整个网络性能的目标。对所提算法进行仿真分析,验证了本文所提算法在次级用户网性能略有降低(甚至提升)的前提下,能够显著提升主用户网络以及整个网络的系统性能。现有文献没有针对认知全双工多中继选择场景进行建模,导致没有相应的多中继选择算法解决认知全双工中继网络下的多中继选择问题。针对此问题,将认知全双工多中继选择问题建模为势博弈模型,并分析和证明了所提博弈模型纯策略纳什均衡的可行性的条件和存在性,以此为基础提出认知全双工中继选择迭代算法。对于该算法,在复杂度方面,相比与传统的穷举搜索算法有较大的降低,在收敛性方面,能够在可行解信息未知的前提下,通过有限次迭代就能得到纯策略纳什均衡。仿真分析说明,本文所提的认知全双工中继选择迭代算法的性能相比认知全双工随机搜索算法、认知半双工中继选择迭代算法和认知半双工穷举搜索算法的性能有明显提升,并且能够在较低复杂度的情况下获得最优或接近最优的系统性能。