近年来,非正交多址接入(Non-Orthogonal Multiple Access,NOMA)作为一种频谱效率较高的5G新型多址技术,已经引起了人们的广泛关注。NOMA的主要思想是通过功率域复用将处于同一时域、频域及码域的多个用户信息进行线性叠加传输,在接收端采用串行干扰删除(Successive Interference Cancellation,SIC)技术对用户信息进行逐级检测与分离。另外,为了满足人们日益增长的通信需求,协作中继系统因具有提高无线网络通信质量、扩大网络覆盖范围等优势,已经被广泛研究。因此,在未来5G网络中,基于NOMA的中继系统将有着广阔的应用前景。本文将根据不同的NOMA中继系统模型,结合无线信息与能量协同传输(Simultaneous Wireless Information and Power Transfer,SWIPT)、能量收集(Energy Harvesting,EH)、多输入多输出(Multiple Input Multiple Output,MIMO)及认知无线电(Cognitive Radio,CR)等技术,采用天线选择(Antenna Selection,AS)、中继选择(Relay Selection,RS)及联合中继天线选择(Joint Relay and Antenna Selection,JRAS)等方案对系统性能展开研究。本文的主要研究内容和贡献如下:1.将SWIPT技术应用于下行的MIMO NOMA译码转发(Decode-and-Forward,DF)中继系统中,给出了一种基于动态功率分割的能量收集方案,研究了理想信道状态信息(Channel State Information,CSI)下系统的性能。在发射端和接收端分别采用AS和最大比合并(Maximal Ratio Combining,MRC),推导出了Nakagami-m衰落信道下系统的准确中断性能及遍历和速率。2.针对下行的MIMO NOMA-EH放大转发(Amplify-and-Forward,AF)中继系统,考虑在发射端和用户接收端均采用AS方案,推导出了Nakagami-m衰落信道下系统中断概率的准确闭环表达式,并通过仿真分析比较了AF中继系统与DF中继系统的性能。3.针对存在直传链路的固定功率分配的NOMA(F-NOMA)多中继系统,研究了非理想CSI下系统的中断性能。通过采用中断概率最小化的RS方案,推导出了Nakagami-m衰落信道下系统中断概率的准确闭环表达式。同时,在高SNR下给出了中断概率的渐近表达式和分集阶数。最后,仿真验证了信道估计误差对系统中断性能的影响。4.针对下行的CR-NOMA多天线多中继系统,提出了一种新颖的JRAS方案,推导出了系统的准确中断表达式、高SNR下的渐近中断表达式及分集阶数。通过仿真验证了CR-NOMA相比F-NOMA能够取得更小的中断概率,同时仿真结果表明了所提出的JRAS方案相比最大最小最大(Max-Min-Max,AIA)JRAS等方案在提升系统中断性能等方面的优势。