自香农(Claude Shannon)1948年在《通信的数学理论》一文对信道容量作出了明确定义以来,寻求高速率的通信方式一直是推动无线通信向前发展的不竭动力。在高斯信道下,香农容量公式表明可以通过提高发射功率或(和)系统带宽来获取更高的信道容量。然而,对于无线接入网(Radio Access Network,RAN)来说,设计适合的多址接入技术则是提升无线通信系统容量的一个关键因素。就目前来说,多址接入技术主要分为正交多址接入(Orthogonal Multiple Access,OMA)和非正交多址接入(Non-Orthogonal Multiple Access,NOMA)两大类。NOMA技术由于打破了多用户资源正交性配置的约束,在容量、时延和用户接入密度等方面展示出巨大的内在潜力,从而成为现在研究的热点并有望成为未来无线通信的重要支撑技术。另外,NOMA技术可以非常有效的与现有其他的技术兼容,比如毫米波技术(Millimeter Wave,mm Wave)或者大规模多输入多输出技术(Multiple-Input Multiple-Output,MIMO)等,从而进一步提升系统容量。本文主要针对现有NOMA技术及其在中继系统中的应用进行了深入研究,具体地,所做工作可概括如下:1.提出适用于NOMA中继通信系统的通用拓扑结构,分析了其主要特征与系统构建准则,提出一种新颖的利用混合信道信息进行功率分配的低复杂度方案。我们首先讨论了基于NOMA中继系统的基本网络拓扑结构,并探讨了系统构造、非对称度度量、译码准则和功率分配方案等。按源与目的节点的用户参与数,一跳可达的通信模式主要可以分为三类,即单对单,单对多和多对单三种模式。利用这一基本组合,常见的中继网络结构也可以分成三类,即上行网络结构,下行网络结构和复合型网络结构。根据中继采用的通信协议,基于NOMA的中继网络系统会表现出与传统OMA中继系统不一样的特点。在这个基础上,分析了NOMA中继网络的主要特征与系统构建准则,并详细介绍了系统在不同中继协议下的译码要求、非对称度以及功率分配等对性能有重要关系的参数指标。最后,给出了一种新颖的利用混合信道信息进行功率分配的低复杂度方案。2.提出了一种新颖的用于提升小区边沿用户公平性能的NOMA胞元执行结构。此方案在我们发表的论文中称为串行干扰消除(Successive Interference Cancellation,SIC)并行NOMA胞元执行结构,它由数量不对等的两部分用户构成,即N个小区中心用户和单个小区边沿用户。推导了2小区中心用户配置下的SIC并行NOMA胞元执行结构的瞬时最大无误信息传输率并且比较了SIC并行NOMA胞元执行结构、传统SIC串行NOMA胞元结构和OMA方案的系统可达容量和用户公平性指标。3.理论分析了基于下行和复合型网络结构的NOMA中继通信系统在不同信道信息下的性能。假定系统的统计信道信息可以获得,首先研究下行网络结构的NOMA中继通信系统在Nakagami-m衰落统计信道信息下中继分别采用DF与AF两种协议的性能。对于DF协议而言,本文推导了该协议下系统和速率和中断概率的闭式解;对于AF协议而言,本文也获得了该协议关于中断概率的闭式解,同时还推导了该协议在高信噪比下和速率的闭式解。此外,为进一步改善边沿用户的性能,在DF中继的基础上又提出了一种分集增强的中继传输协议来进一步提升系统性能。接着假定中继采用DF协议并且系统的统计信道信息、瞬时信道信息以及两者的混合信道信息都可以获得,研究了复合型网络结构的NOMA中继通信系统在瑞利衰落信道下的性能。对于统计信道场景而言,得出了高信噪比情况下系统和速率的闭式解,并给出了相应的最优和次优固定功率分配方案;而对瞬时信道场景来说,研究了系统的可达速率并给出了简单有效的动态功率分配方案;对于混合信道信息而言,同样给出了系统的可达速率并证明该方案是一种简单有效中低复杂度功率分配方案。