随着新兴互联网设备和多样性服务需求的大规模显现与扩张,除了提高无线通信系统的传输速率和不断提高频谱利用率之外,如何保证信息可靠且安全的传输成为越来越重要的课题,也为下一代无线通信系统的设计和实现带来了严峻的挑战。NOMA作为5G通信系统的重要技术之一,不仅可以提高系统的频谱效率,同时还能够大幅度提升同时接入的用户数目。本文从可靠性和安全性两个角度出发,主要研究基于NOMA的下行传输系统的物理层安全。主要贡献和工作总结如下:针对单天线单被动窃听者的NOMA下行无线传输系统,研究了基于NOMA的下行无线安全传输系统和基于NOMA的协作干扰传输系统的安全性能,推导了NOMA传输系统中各用户的传输中断概率COP和保密中断概率SOP,分析了各参数对系统性能的影响,证明了系统存在安全性-可靠性的折中现象,推导了等效保密吞吐量EST并分析了其各参数对系统的影响。其次,针对MISO下行单天线窃听者的NOMA传输系统,研究了基于AN的NOMA下行无线安全传输系统的安全性能,提出了三种不同的传输策略,并分别推导了这三种策略下NOMA系统中各用户的传输中断概率COP和保密中断概率SOP,分析研究了各参数对系统性能的影响,并对三种策略的性能进行了比较,综合考虑后分别给出这三种策略的适用性。针对空间泊松分布的窃听者模型,研究SISO系统下的NOMA下行无线传输系统。合法配对用户采取距离分割以增加用户间信道增益的差异性,随机选择两个配对用户,推导了各个用户传输中断概率COP和保密中断概率SOP的闭式解和渐进表达式,并给出了等效保密吞吐量EST的表达式,对影响各个用户COP、SOP和EST的参数进行了分析和仿真,证明了保护区域可以显著提高系统的安全性能并分析了窃听者泊松分布下系统参数对安全传输性能的影响以及系统可靠性-安全性折中的现象,为进一步优化系统性能提高安全性提供了依据。