无线协作通信技术由于可以提高网络覆盖和系统容量、提升系统性能和资源利用率以及降低建设和维护成本等,已经成为新一代无线通信系统中的一种重要技术。但是,无线协作通信系统具有广播的传输特性、开放的网络环境、高标准的传输协议以及需要中继节点协助的特点,使得它在给人们提供便利的同时,也面临着很多安全威胁,比如被窃听、干扰、篡改数据和中断链路等等。物理层安全技术作为上层网络安全技术的一种补充和替代,由于具备不需要可信第三方和密钥池、计算简单、时延小和能耗低等一系列优点而在无线通信领域受到广泛的关注。该技术充分利用无线信道和设备的状态特征以抵御不法节点的窃听与假冒,实现对合法用户的通信保护。随着人工智能和通信技术的高速发展,恶意攻击者的能力越来越强,对协作通信提出了巨大的安全挑战。本论文的目标是针对协作通信系统中的被动窃听攻击、半双工主动窃听攻击、全双工主动窃听攻击、以及恶意中继节点产生的窃听攻击和链路攻击等安全问题,提出一系列物理层安全技术以提高通信的可靠性和保密性。由于协作通信技术可以通过提高通信网络的容量和可靠性来提高系统的安全容量,基于协作通信的物理层安全技术引起了越来越多的研究人员的关注。针对不同的安全挑战和需求,如何利用协作通信技术来提高系统的安全容量,从而提高通信的可靠性和保密性具有重要的理论意义。另一方面,随着大量设备参与网络,为了竞争有限的资源,具有一定智能和认知能力的中继节点变得越来越自私。因此,如何选择中继节点并激励它们参与协作通信以提高系统的安全性能是一个重要的环节。博弈论是解决具有冲突或竞争性质现象的一种理论与方法,在生物学、经济学等学科有广泛的应用。本论文通过对协作通信系统中的发送终端、中继节点和潜在攻击者的行为进行分析,利用博弈论对不同节点之间的行为关系进行建模,并探索相应的最优策略以促进实现协作通信,通过提高系统的安全容量来实现提高物理层以及整个系统安全性能的目的。首先,针对协作通信系统中多个窃听节点产生的被动窃听攻击,论文提出了一个协同多中继的物理层安全技术。为了激励自私的中继节点参与协作通信,本文建立了一个单领导者-多追随者斯坦伯格(Single-Leader Multiple-Follower Stackelberg,SLMFS)博弈模型,并基于该模型对发送终端和中继节点之间的相互作用和竞争关系进行刻画和分析。本文接着设计了中继节点的价格策略算法及源节点的最优相位调节与功率控制算法以寻找SLMFS博弈的斯坦伯格均衡。在SLMFS模型中,源节点可以通过激励多个中继节点参与协作通信并调整相位阵列定向发送信号给目的节点,达到最大化安全容量的目的。本文详细分析了不同协作通信协议对所提出的协同多中继的物理层安全技术的影响,包括解码转发、放大转发、单中继和多中继的协作通信协议,并给出不同转发模式下系统被窃听的概率。数值分析表明,与纳什均衡模型和随机功率控制模型相比,SLMFS模型的源节点和中继节点的收益是最大的,这说明SLMFS模型能更大程度地激励中继节点参与协作通信,以提高协作通信系统的安全性能。在基于SLMFS模型的协同多中继的物理层安全技术中,源节点可以通过增加中继节点的数量来提高系统的安全容量;与协作干扰方案和随机相位调节方案相比,该技术可以实现更好的安全性能。不同于被动窃听攻击,半双工主动窃听者可以在被动窃听攻击和干扰攻击之间切换以提高成功获取合法信息的概率,因此对协作通信产生更大的安全威胁。针对最坏的情况(即攻击者已经事先知道发射终端和中继节点的信号传输过程及所选择的信道),本文提出了一个基于零和博弈的抗半双工主动窃听攻击(Coping with Half-duplex Active Eavesdropping attacks based on Zero-sum game,CHAEZ)模型。该模型将抵抗半双工主动窃听攻击问题建模为最大化安全容量的优化问题,并刻画出抵抗者(源节点和中继节点)和攻击者(半双工主动窃听者)之间的竞争关系和行为过程。在此基础上,本文提出了一个策略选择算法来寻找CHAEZ模型的纳什均衡。通过CHAEZ模型,抵抗者能很好地判断半双工主动窃听者的攻击行为,从而有效地调整策略来提高安全性能。理论和数值分析结果表明在基于CHAEZ模型的物理层安全技术中,可以通过增加信道的个数来提高系统的安全容量。本论文分析了攻击者采取不同攻击模式对协作通信系统的安全容量的影响;并且与协作干扰方案相比,基于CHAEZ模型的物理层安全技术能极大地提高抵抗半双工主动窃听攻击的性能。全双工主动窃听者可以同时进行被动窃听攻击和干扰攻击,对协作通信系统产生更大的安全威胁。针对最坏的情况(即全双工主动窃听攻击者先发起攻击并且可以预测抵抗者相应的策略),本文建立了一个基于三阶段的斯坦伯格博弈的抗全双工主动窃听攻击(Coping with Full-duplex active Eavesdropping attacks based on Three-stage Stackelberg game,CFETS)模型来描述源节点、中继节点和窃听者之间的竞争关系与相互作用,并激励自私的中继节点参与协作通信以最大化系统的安全容量。基于博弈模型的分析,本文设计了最优策略选择算法以寻找CFETS模型的斯坦伯格均衡。该策略是通过充分研究全双工主动窃听者的行为得到的,可以使协作通信系统达到更好的安全性能。数值分析结果表明相对比于纳什均衡模型和随机功率控制模型,CFETS模型可以更好地促进协作通信的形成,并达到更高的安全通信性能;与单信道/多信道功率控制方案相比,基于CFETS模型的物理层安全技术具有更好的抗全双工主动窃听攻击的性能。前面提出的基于协作通信的物理层安全技术都是基于中继节点是可信的假设。由于中继节点可以动态地加入和退出网络并且可能被恶意攻击者捕获,这将导致协作通信系统中有可能存在不可信的中继节点。这些不可信的中继节点产生的窃听攻击更加难以检测和预防。为了抵抗中继节点的窃听攻击,本文提出了基于双向中继传输的物理层安全技术(Two-Way Relaying-based Physical Layer Security,TWRPLS)和基于协作干扰的物理层安全技术(Cooperative Jamming-based Physical Layer Security,CJPLS)。TWRPLS和CJPLS技术可以分别提高主信道的信道容量和降低窃听信道的信道容量,从而提高协作通信系统的安全容量。通过分析提出的两个物理层安全技术,本论文推导并建立了相应的最优功率控制策略和协作干扰策略。理论和数值分析结果表明TWRPLS技术可以通过增加中继节点的数量来提高主信道的信道容量,并且CJPLS技术可以通过增加协作干扰节点(友好干扰节点)的数量来降低窃听信道的信道容量,以提高系统的安全性能。恶意中继节点不仅能窃取合法用户的信息,也可能在协作通信的过程中中断链路、篡改数据等,从而产生链路攻击,进一步对协作通信的安全性和可靠性提出挑战。本文将合法信息通过尽量多的中继节点进行转发来减少可能被窃听的信息量以提高协作通信的保密度;同时为了确保接收端可以解码合法信息,本文建立了动态的信任机制以评估和实时更新中继节点的可信程度。为了同时抵抗恶意中继节点的窃听攻击和链路攻击,本文接着建立了一个基于信任重复博弈的抗恶意中继节点攻击(Coping with Malicious Relays based on Trust Repeated Game,CMRTRG)模型。该模型可以促使中继节点加入长期的合作,并在保证目的节点可以解码信息的基础上,设计了一个最优中继选择算法来选择尽量多的可信中继节点,以最大化协作通信的保密度。理论和数值分析结果都表明系统存在一个选择中继节点的均衡:选取的中继节点个数越多,协作通信系统的保密度越高但信息传输的可靠性越低;而当选取的中继节点个数越少,虽然协作通信的可靠性越高,但是信息传输的保密度越小。基于CMRTRG模型的物理层安全技术能有效地促使中继节点进行长期的协作通信,并在保证通信可靠性的条件下,利用尽可能多的中继节点,达到最大化协作通信的保密度的目的。本文针对协作通信系统中的被动窃听攻击、半双工主动窃听攻击、全双工主动窃听攻击、以及恶意中继节点产生的窃听攻击和链路攻击,提出了一系列的基于协作通信的物理层安全技术以提高系统的安全性能。在这些物理层安全技术中,为了系统地研究恶意攻击者的行为,并激励自私的中继节点参与协作通信来提高协作通信系统的安全容量,本文利用博弈论对协作通信系统中攻击者、发射终端和中继节点之间的行为关系和决策过程进行建模和分析,使得抵抗者可以选择最优的策略以抵抗这些恶意攻击,提高协作通信系统的物理层安全。