动态频谱接入(Dynamic Spectrum Access,DSA)技术作为认知无线网络(Cognitive Radio Networks,CRNs)的关键技术之一,可以动态接入空闲的授权频谱进行认知传输,从而达到提高频谱利用率的目的。而认知无线网络开放的频谱接入环境,使认知无线网络比传统无线网络更易受到安全威胁。因此,本文从物理层安全传输角度对认知无线网络的安全传输性能进行了研究。1)首先基于正交多址接入(Orthogonal Multiple Access,OMA)技术对认知无线网络的物理层安全传输性能进行了研究,考虑实际多窃听场景,基于Nakagami-m衰落信道建立了多中继多窃听的认知无线网络系统模型,提出优化的多窃听认知中继传输方案,推导了不同窃听方式下不同中继选择方案安全中断概率的近似闭合表达式,分析了不同中继数目、不同窃听数目及不同信道衰落对系统性能的影响,最后通过MATLAB仿真对分析结果进行验证,结果表明提出的非协作窃听最优中继选择方案可获得的安全中断概率最低,且通过增加中继个数或减少窃听者个数均可提高物理层安全传输性能。2)相比于OMA,非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术作为5G的关键技术之一,可以更好的提高频谱利用率和系统吞吐量。本文将NOMA技术应用于多认知用户协作系统,提出一种基于NOMA的下行认知用户协作系统模型,分析了放大转发(Amplify and Forward,AF)方式下不同认知用户协作方案中主用户(Primary User,PU)和次用户(Secondary User,SU)的中断概率,并与解码转发(Decode and Forward,DF)方式下PU和SU的中断概率进行比较,研究结果表明当SU→PU链路条件较好时,AF方式可使PU获得更好的中断性能,且本文提出的最佳认知中继协作方案也可降低PU的中断概率。3)空时编码(Space Time Block Code,STBC)利用空间复用可以有效的抵抗信道衰落,提高传输可靠性。本文考虑将STBC应用于无线认知NOMA系统中,建立由基站和一对衰落条件不同的认知用户构成的下行认知NOMA系统,其中基站配备有两根发射天线,认知用户均配备单根接收天线,且在传输过程中会受到窃听者的攻击。基于该模型推导了不考虑信道排序情况下各个认知用户的安全中断概率,并与传统无线认知NOMA系统中认知用户的安全中断概率进行比较,研究结果表明本文提出的基于STBC的无线认知NOMA方案可以更好的提高认知用户的物理层安全性能。