移动互联网和物联网的持续发展需求促使移动网络逐步进入第五代移动通信(5th Generation,5G)时代。从各种新兴业务的发展,到各种频谱网络的结合部署,再到支持关键性能指标的各种新兴技术的应用,5G通信俨然成为了由多种异构频谱资源组网,利用多种新兴技术共同作用,支持多种业务应用的异构网络。由于非正交多址接入技术(Non-orthogonal Multiple Access,NOMA)支持多用户共享同一无线资源,能够辅助具有异构需求的业务实现共同传输。如何设计不同业务基于NOMA的共同传输策略、以及相关的系统性能评估是一个亟待解决的问题。此外,为了应对物联网中激增的海量数据终端,NOMA可以应用到基于不同频谱的网络模式中或者与其它网络技术相结合,实现海量设备的大连接以及网络频谱效率(Spectral Efficiency,SE)的提升。与此同时,如何设计不同网络模式下NOMA传输策略、解决NOMA与其它网络技术相结合下的干扰问题以及干扰问题带来的能量效率(Energy Efficiency,EE)损失都是NOMA在异构频谱、技术方面应用需要解决的关键问题。因此,本文将NOMA应用到面向5G乃至下一代通信的异构网络中,分别从业务异构、频谱异构以及技术异构三个角度,针对不同业务共同传输策略、相关系统性能评估以及不同频谱异构、技术异构场景下的EE优化等问题进行了研究。具体研究内容和主要创新工作概括如下:(1)异构服务质量(Quality of Service,QoS)下机器与机器(Machine-to-Machine,M2M)和人与人(Human-to-Human,H2H)通信共存的 NOMA蜂窝网络性能研究对于各种业务融合的异构网络来说,不同业务具有不同的特点。基于M2M和H2H通信业务的不同之处在于对QoS的要求以及数据包大小传输的问题。而当二者共存时利用NOMA技术可以很好地解决不同数据包共同传输的问题。那么如何建立二者共存时基于NOMA的传输机制以及如何反应QoS不同的问题还没有得到充分的考虑。本文针对M2M和H2H通信共存的蜂窝网络进行了研究,特别是对时延敏感性较高的M2M通信。首先,给出了一种基于NOMA的上行通信策略。然后提出 了基于 QoS 的串行干扰删除(Successive Interference Cancellation,SIC)解调策略。最终,根据上述传输策略和解调方案,推导出了 QoS与中断概率、有效容量之间的关系,并给出了最小发送功率下关系式的仿真结果。相比传统的正交多址接入(Orthogonal Multi Access,OMA)传输策略,本文所提的基于NOMA的传输机制不仅可以有效提高系统的有效容量(Effective Capacity,EC),还进一步降低了系统的中断概率。(2)M2M 增强异构蜂窝网络(Heterogeneous Cellular Network,HCN)中基于NOMA的EE最大化资源分配策略不同网络模式的部署可以提高用户设备以及智能终端的网络接入概率,有利于实现海量设备连接的场景。例如对于一些智能终端来说,它们无法直接连接到蜂窝网络,需要依靠相关的短距离传输技术接入蜂窝网络。而基于非授权频段的M2M通信可以实现这一点。与此同时,蜂窝网络中的用户可以作为该类智能设备的中继,辅助其实现数据传输。而此举对于蜂窝用户来说增加了功率消耗。这种情况下,需要对该用户终端的功率进行合理的控制,才能确保网络EE保持在比较高的水平。本文考虑了一种基于NOMA的M2M增强HCN。在该网络下,机器型通信设备(Machine Type Communication Devices,MTCD)利用蜂窝网络中的移动用户(Mobile User,MU)作为中继连接到蜂窝网络。MTCD和MU将分别采用NOMA策略进行传输。然后,根据上述策略形成了包含用户连接和功率控制的EE优化问题。为了解决该问题,提出了最大化上行资源分配策略,主要包含基于匹配理论的用户连接算法以及基于序列优化理论的用户功率分配算法。另外,本文还介绍了一种基于序列理论的改进穷搜功率分配算法,对比该算法,本文所提的算法不仅具有较低的复杂度,且能够接近功率分配的全局最优解。(3)HCN中基于NOMA的EE和SE联合优化功率分配策略基于NOMA的HCN双向扩展了两种技术优势的同时也带来了一定的干扰问题。干扰问题是HCN本身就存在的问题,包括频谱复用下不同类型基站(Base-Station,BS)间的层内干扰以及同类BS间的层间干扰。而对于NOMA来说其本身就是利用叠加用户间的干扰来实现用户间的信号解调。如何统一处理和利用上述的干扰是二者结合需要考虑的首要问题。已有研究表明合理的资源分配能够有效的缓解上述干扰问题。但对于现有的研究来说,所涉及到的优化目标较为单一。本文联合考虑EE和SE优化下的功率分配问题。首先基于NOMA的传输机制建立了联合优化的多目标问题,然后根据权值优化的方法转化为可解的单目标优化问题,最终提出了基于信道相关性和差异性的用户分配算法以及基于差分(Difference Convex,DC)程序法和凹凸程序法(Concave Convex Procedure,CCCP)的功率分配算法来解决这一问题。对比原有的正交频分多址接入(Orthogonal Frequency Division Multiplexing Access,OFDMA)方案和功率分配算法,在同等条件下,本文所提出的基于NOMA的传输方式和功率分配算法能够辅助系统获得较高的EE和SE值。