大规模多输入多输出（Multiple Input Multiple Output,MIMO）作为下一代移动通信系统的关键技术之一,可以显著提高系统吞吐量和频谱效率。大规模MIMO系统通过在基站端配置数百根天线为不同的用户服务,然而用户间干扰使得基站恢复发送信号具有很大的挑战。传统的信号检测方案或者检测精度低,或者复杂度高,很难在检测精度与复杂度之间取得较好地平衡。深度学习（Deep Learning,DL）由于其强大的学习能力,可以处理海量数据,其中模型驱动的DL通过展开已有的算法模型获得专用的神经网络结构,并对参数进行优化,可有效提高算法性能;同时,模型驱动的DL所含训练参数少。因此,本文将以模型驱动的DL技术为核心,对大规模MIMO系统接收端的信号检测问题进行研究。非正交多址接入（Non-orthogonal Multiple Access,NOMA）技术可使多个设备同时在相同的时频资源上进行通信,满足“大规模无线网络”的要求,是B5G以及6G的潜在多址技术。在大规模MIMO系统中引入NOMA,将显著提高大规模MIMO系统性能。然而,此时各子信道为多个用户共享,不同用户的子信道不再正交,且可用的正交资源数通常少于服务的用户数,令接收端的信号检测难度大大增加。本文研究基于模型驱动DL技术的大规模MIMO-NOMA系统的信号检测问题,充分利用模型驱动的DL优势,以提升系统性能。本文的主要研究工作如下:第一,本文基于模型驱动的DL方法提出了适用于上行大规模MIMO系统的信号检测方案。首先,通过对传统的阻尼雅可比（Jacobi,JC）迭代法进行改进设计,同时通过神经网络方法学习检测器中的参数得到JC-Net检测网络,避免了人为的繁琐计算,网络具有可解释性。该JC-Net检测器具有可学习参数少、计算复杂度低、收敛速度快的优点。然后,本文通过增加JC-Net网络中残差向量的维度来进一步提高JC-Net检测器的性能。最后,本文将该模型驱动的思想用于超松弛（Successive Over Relaxation,SOR）迭代检测器中得到了SOR-Net检测网络。通过仿真实验表明,本文提出的基于模型驱动的信号检测方案可以以较低的复杂度实现较高的检测精度,从而解决了大规模MIMO系统信号检测的难点问题。第二,本文在上行免调度大规模MIMO-NOMA系统中,利用活跃用户具有的稀疏特性,结合压缩感知原理,首先对迭代收缩阈值算法（Iterative Shrinkage Thresholding Algorithm,ISTA）进行改进,并应用到活跃用户的信号恢复中。本文使用的ISTA可以在不知道活跃用户数量的前提下进行信号检测。然后,结合模型驱动的DL技术,对改进后的ISTA进行展开并利用神经网络优化模型中的参数,以提升检测性能和加快收敛速度。同时,针对大规模MIMO-NOMA系统基站端多天线的情况,本文创新性地将“第一次显著跳跃”方案应用其中,以充分利用大规模MIMO-NOMA系统基站端大量天线的优势。最后,通过仿真实验验证了本文所提基于模型驱动的检测方案在上行免调度大规模MIMO-NOMA系统中的优越性。