未来移动通信网络具有较高的速率、较低的延时、超大的带宽和超高的密度等特点,各种不同需求与指标的高速增长给未来无线移动通信系统的运行和普及带来严峻的挑战。而非正交多址接入（Non-orthogonal Multiple Access,NOMA）创造性地把传输的一些资源从只分给单个用户变为分给多个用户共同使用,从而极大提高了通信系统中的无线接入总量和相应的频谱利用率,成为新一代无线网络体系的重要技术。另一方面,由于无线网络传输具有开放性和广播性,潜在的窃听者很有可能影响到信息的保密传输。而利用无线信道固有的物理属性,经过发送端恰当的预编码处理或者适当加入人工噪声,可以为通信系统提供一定安全保障,使信息泄露的风险更低。因此,本文对基于NOMA的通信网络中的安全传输优化与性能分析进行研究,以提高无线通信系统对抗窃听者的能力。具体包括:（1）针对多用户下行NOMA无线通信网络,提出了发射端预编码联合优化设计的反窃听方案。首先当基站具有窃听者的信道状态信息（Channel State Information,CSI）时,设计预编码优化问题以最大化网络中安全用户的总安全速率。然后,当窃听信道的CSI不可用时,分别考虑安全用户距离基站不同位置的情况,通过联合预编码优化并改进NOMA网络连续干扰消除的顺序来保证其安全性。（2）针对中继辅助的协作NOMA无线通信网络,提出了利用全双工中继协助安全用户转发信息并阻碍窃听的方案。对中继处的预编码向量进行合理设计,消除人工干扰对合法接收者的不良影响。分析相关信道统计信息,并推导合法信号的安全中断概率表达式。另外,还确定了人工干扰信号的最佳功率分配系数,将合法用户的安全中断概率降到最低。（3）针对所提出的基于速率分割多址接入（Rate-Splitting Multiple Access,RSMA）的统一安全传输框架网络,保障了RSMA,NOMA和SDMA（Space-Division Multiple Access）系统中用户私密信息的安全传输。首先通过联合优化预编码向量来降低RSMA系统中安全用户私有信息被窃听的风险。然后,通过调整一些参数和条件,使所提出的RSMA安全框架不仅满足了NOMA和SDMA系统安全传输的要求,还极大增强系统中其他广播信息的传输性能。另外,研究与对比了三种多址接入网络的相关性和差异性。