从第二代移动通信中最基本的低速率语音服务到第四代移动通信中高速的网络多媒体数据业务(100Mbps-1Gbps),现代无线通信技术得到了快速的发展。随着移动网络用户数增加和人们对通信服务种类和服务质量要求的提高,目前的移动通信网络传输速率已经远远无法满足快速发展的社会需求。近期相关研究表明,非正交多址接入(NOMA)技术、多天线发送和多天线接收(MIMO)技术以及大规模MIMO-NOMA(Massive MU-MIMO)技术可以极大地提高无线通信网络的传输速率和服务质量,因而受到越来越多的关注。首先,由于用户数量的急剧增加和频谱资源的限制,NOMA是未来无线通信系统中无法避免的接入方式。NOMA技术不仅能让多个用户共享同一个频谱资源,而且可以获得比现有正交多址技术(如时域正交多址接入TDMA、频域正交多址接入OFDMA)更高的频谱效率。其次,MIMO传输技术在不增加额外的频谱资源和天线发送总功率的情况下可以有效地提高传输速率,并且大规模多接入MIMO系统在系统传输速率和能量效率方面有极大的改善。此外,多址接入中继系统是多址接入信道和中继信道相结合的更复杂、更普遍的一个基本通信单元,在未来无线通信网络中有很好的应用前景,因而对于多址接入中继信道的高效通信策略的研究非常关键。本论文针对多址接入信道和多址接入中继信道(包括过载和欠载),结合NOMA、MIMO和大规模天线等关键技术,利用信息理论、编码和检测相关理论来分析和设计NOMA信道的检测和量化方案,为下一代5G相关技术的标准化提供理论支撑和技术指导。本论文的主要内容和创新点如下:首先,针对大规模MIMO-NOMA通信系统,系统研究了低复杂度的高斯消息传递迭代检测(GMPID)方案。MIMO-NOMA系统中的GMPID是在一个含有大量环的因子图上进行的消息传递算法,而含环消息传递算法的收敛性问题(如:收敛条件、收敛速度、收敛性能等)是一个公开的难题。本论文利用大规模MIMO-NOMA中用户数量和天线数量很大这一特性,对GMPID算法的性能和收敛性进行分析,给出了GMPID算法均方误差(MSE)性能的准确估计,同时提出了GMPID算法收敛条件的充分条件。为进一步改善GMPID的收敛区域和收敛速度,提出了一个收敛性能更好、收敛速度更快、鲁棒性更强的低复杂度GMPID算法。所提算法在任意条件下都收敛到最优的线性最小均方误差(LMMSE)检测,并且具有较低的复杂度。其次,分析了基于线性迭代检测MIMO-NOMA系统的可达速率。由于MIMONOMA系统采用线性迭代检测算法时的一般性可达速率分析十分困难,本文以迭代LMMSE检测为例,分析了一些特殊情况下的MIMO-NOMA系统的可达速率,例如:对称MIMO-NOMA系统、连续干扰消除MIMO-NOMA系统、非对称线性迭代检测MIMO-NOMA系统。分析结果表明,在这些情况下采用线性迭代检测是容量可达的。以简单的两用户和三用户MIMO-NOMA系统为例,说明了迭代LMMSE检测方案的最优性,即迭代LMMSE检测可以达到MIMO-NOMA系统的整个容量区域。最后,设计了一种能逼近一般MIMO-NOMA系统容量的低复杂度迭代LMMSE检测方案。最后,在多址接入信道的基础上,进一步考虑了更加复杂和普遍的多址接入中继信道(MARC)。针对非正交多址接入中继信道(NOMARC),在中继节点无法无差错恢复信源消息的条件下,给出一种基于最大化量化输出序列和信源消息序列之间的互信息的量化转发策略,即:互信息保持量化(MIPQ)转发。MIPQ转发策略以最大互信息为准则来设计中继节点处的量化器,这是MIPQ和以最小均方误差为度量的传统量化器的本质区别。此外,MIPQ只对中继接收到的叠加信号量化,将对多用户消息的矢量量化转化为对叠加信号的标量量化,同时避免了中继对各用户信号的译码和检测等复杂的处理。因此,MIPQ极大地降低了NOMA系统的量化复杂度,同时提高系统的有效传输速率。仿真结果表明,相比其他量化器,它具有较低的量化复杂度,并且可以获得更好的量化性能。