无线通信网络已经被广泛应用于民用和军用领域,成为了日常生活中不可或缺的重要组成部分。一方面,随着无线通信技术的高速发展,无线通信网络的连接设备数量呈现指数增长的趋势。另一方面,无线信道的广播特性使得无线通信系统覆盖范围内的任何设备均可接收到发送信号。因此,提供可靠安全的信息传输服务是5G以及未来无线通信网络设计和运行的首要任务之一。相较于传统的例如密码学等上层加密技术,物理层安全技术从信息论的角度利用无线信道的随机性以及目标信道与窃听信道之间的信道质量差异来实现信息安全传输,因此具有复杂度较低和资源开销较少的明显优势。得益于其带来空间自由度和分集增益的优势,多天线传输技术被视为实现无线通信系统安全传输的一种有效解决方案。具体而言,在多天线传输系统中多个发送节点可以在增强目标节点接收的信号质量同时降低窃听者的接收信号质量,从系统层面上来增强物理层安全性能。协作传输技术是多天线传输技术在空间维度的进一步延伸。在协作安全传输系统中,协作节点主要采用协作中继（Cooperative Relaying,CR）和协作干扰（Cooperative Jamming,CJ）两种工作方式来进一步增强系统的物理层安全性能。此外,利用协作节点易于部署的特点,可以根据实际需求灵活地选择其工作方式。然而在协作中继网络中,由于数据传输的过程通常分为广播和转发两个阶段,因此保密信号泄露的风险大大提高,传输安全面临严峻挑战。与协作中继方案不同,CJ方案中协作节点仅需窃听节点的统计信道状态信息（Channel State Information,CSI）即可采用向窃听者发送人工噪声（Artificial Noise,AN）的方式来降低窃听节点的接收信号质量,具有更高的安全性能提升可靠性。鉴于此,基于CJ的安全传输技术成为了当前物理层安全领域的研究热点。本文基于CJ技术,针对面向5G以及未来无线通信网络的无人机（Unmanned Aerial Vehicle,UAV）辅助的以及非正交多址接入（Non-Orthogonal Multiple Access,NOMA）无线通信系统中的安全传输方案进行了深入研究,主要研究工作和贡献总结如下:（1）研究了单窃听节点场景中基于UAV辅助的协作安全传输问题。考虑了单窃听节点和完美CSI场景,重构了目标用户安全中断概率（Secrecy Outage Probability,SOP）限制条件,并推导出了SOP确切的闭式表达式,进而证明了优化问题的目标函数为严格凹函数。以此为基础,提出一种基于CJ的安全传输算法来获取生成AN信号的最优功率分配系数,最大化系统获取的安全速率。（2）研究了UAV辅助的多输入单输出多窃听节点（Multiple-Input Single-Output Multiple-Eavesdropper,MISOME）系统中的协作安全传输问题。考虑更贴近实际通信环境的系统CSI非完美的情况,分析了多窃听节点场景下SOP的闭式表达式以及信道估计误差对系统安全性能的影响,提出了一种有效的功率分配算法来保障系统的传输安全。此外,借助几何知识优化了UAV的部署位置,进一步提升了所提协作安全传输方案的安全速率和安全能效性能。（3）研究了地面协作NOMA系统中基于CJ的安全传输方案设计。首先,在CSI非完美的条件下,讨论了具有安全传输需求的用户的SOP和普通用户的期望速率限制条件,得到了SOP的闭式表达式和基于NOMA原则的功率分配比例系数的上界。接下来推导出一种自适应功率分配方案,分不同情况进行判决进而获得最佳功率分配系数来解决约束条件限制下的安全速率最大化问题。然后,系统地分析了信道不确定性对所提协作安全传输方案性能的影响。（4）研究了UAV辅助的协作NOMA系统中的物理层安全传输问题。提出了一种具有传输策略调整特性的协作安全传输方案,以实现同时服务需求高安全速率的优先考虑用户和需求服务质量的普通用户。考虑了发送节点与用户节点CSI非完美的情况,分析了信道估计误差对系统性能的影响。然后,对功率分配系数的上界进行讨论,以此为基础推导出一种有效的自适应功率分配算法来求解SOP和传输速率限制条件下的安全速率最大化问题。最后,充分利用UAV的可控性和移动性,提出了一种UAV最优布置策略来进一步提高所提方案的安全性能和适用性。本文所提出的基于CJ的物理层安全传输方案,均已通过理论分析和仿真实验验证。数值仿真结果表明,相较于已有的方案,所提方案能有效地在不同应用场景中提高无线通信系统的安全速率和能效性能,且可以在存在信道估计误差的情况下,实现相对满意的安全和能效性能,具有环境适应性。