互联网和物联网的高速发展使无线接口数量呈现指数级增长,为了使海量机器能进行高可靠通信,获得高速率、低延时的体验,基于5G通信候选技术之一的非正交多址接入(NOMA)技术得到了深入研究。与正交多址接入(OMA)相比,NOMA不仅有更高的频谱效率,还能满足海量接口的需求,因此研究协作NOMA系统的性能对系统参数设计具有重要意义。但无线通信的广播特性会使系统受到窃听和干扰的影响,为了提高物理层的安全性能,协作NOMA系统的物理层安全研究也不容忽视。首先,考虑中继节点存在同频干扰,协作NOMA系统分别采用解码转发(DF)协议和放大转发(AF)协议时,通过部分中继选择(PRS)方案选择最佳中继并考虑反馈延时,研究了多中继协作NOMA系统的性能,推导出了中断概率的闭合表达式,以及在高信噪比(SNR)下的渐近表达式和分集增益。仿真结果表明,协作NOMA系统的延时越短,性能越好;渐近表达式在高SNR下与理论值和仿真值是吻合的;协作NOMA系统在低SNR下采用AF协议时的性能更好,在高SNR且延时较低时,协作NOMA系统在两种协议下的性能一样。其次,当协作NOMA系统的用户端存在非法窃听时,假设窃听者具有多用户检测能力,研究了单中继协作NOMA系统采用DF协议时的物理层安全性能,推导出了安全中断概率(SOP)和严格正安全容量(SPSC)的闭合表达式,以及在高SNR下的渐近表达式。仿真结果表明,同频干扰的功率越小,协作NOMA系统的物理层安全性能越好;协作NOMA系统的可靠性与窃听信道的平均SNR有关;渐近表达式在高SNR时与理论值、仿真值是吻合的。最后,为了提高协作NOMA系统的物理层安全性能,在多中继协作NOMA系统中,本文提出了一种两跳的中继选择方案,推导出了中断概率的闭合表达式,以及在高SNR下渐近表达式和分集增益。理论分析表明本文提出的中继选择方案具有满分集阶数,仿真结果表明,协作NOMA系统采用该中继选择方案的性能明显优于单中继方案和Max-min中继选择方案。