随着移动通信技术的发展和人们对高生活水平的追求,新的服务和应用不断涌现,这为人们的生活带来了极大的便利。然而,数据流量的突增和海量移动设备的连接给新一代5G通信技术带来了压力。因此,如何提高频谱效率以及实现设备大规模连接成为整个学术界和信息产业界的研究热点。非正交多址接入(Non-orthogonal Multiple Access,NOMA)技术作为5G的候选接入技术利用功率复用在发送端的同一资源块上非正交叠加多个用户的信息并传输,同时,在接收端利用串行干扰消除(Serial Interference Cancellation,SIC)技术区分每个用户的数据,通过这样的方式可以提高频谱利用率以及实现设备的大规模连接。此外,多输入多输出(Multiple-Input Multiple-Output,MIMO)技术的引入可以在不增加带宽和发射功率的情况下明显地提高系统速率。因此,以上两种技术的结合可以更好地实现新兴无线应用的大连接和数据的高速率。为了进一步提高系统性能,将可扩展网络覆盖范围并克服信道障碍的协作通信技术应用到系统中。本文的主要研究工作分为以下两个部分:(1)设计了MIMO-NOMA系统基于信道相关性和信道增益差的用户分组算法以及基于距离的功率分配算法。用户分组算法首先将用户分为强用户组和弱用户组,然后根据信道相关性和信道增益差异将两个用户配对。分组后,通过迫零波束成形(Zero-Forcing Beam-Forming,ZFBF)技术消除了组间干扰。为了进一步减少组内干扰并提高系统的总速率,提出了组内功率分配算法,其中分配的功率与用户到基站的距离的平方成正比。该方法可以获得闭式解,因此复杂度较低。实验结果表明,所提出的算法可以进一步提高MIMO-NOMA系统的总速率。(2)设计了混合NOMA/全双工方案用以提高MIMO-NOMA系统的能效。首先提出了一种协作通信的MIMO-NOMA系统下行链路网络模型;其次对非协作NOMA、半双工和全双工模式下系统的中断概率和速率进行分析;最后在此基础上,设计了一种混合NOMA/全双工模式的方案。当基站到远用户没有直传路径或者直传路径质量较差时,可以使用全双工模式进行协作传输;当有直传路径时,利用非协作NOMA进行传输。并对该方案进行中断概率和速率的分析。理论分析以及仿真结果表明,NOMA/全双工混合使用,可以有效地提高远用户性能,同时,可以在一定程度上避免近用户的损失,使整个系统的性能得到改善,并且能够有效地提升了用户公平性。