在第 5 代通信网络（the fifth generation of cellular networks,5G）,非正交多址接入（Non-Orthogonal Multiple Access,NOMA）作为一种能够实现大规模接入和高频谱效率的接入方式,具有巨大潜力。而多输入多输出（Multiple Input Multiple Output,MIMO）系统可以利用空间资源提高频谱效率和传输速率。因而将MIMO与NOMA结合,基站可以服务多用户,提高系统容量。对于下行多用户MIMO（multi-user MIMO,MU-MIMO）,由于用户之间不能互相协作,需要在基站发送端进行预编码,以消除或降低天线间干扰。首先,研究下行链路多天线系统中的预编码算法与空时编码（Space Time Block Coding,STBC）。一是在MU-MIMO系统中,研究ZF和MMSE预编码算法的实现和性能分析。二是在多输入单输出（Multiple Input Single Output,MISO）系统中,研究STBC的编码与检测。STBC的检测和MU-MIMO的预编码都需要对信道状态信息（Channel State Information,CSI）的准确获取。然后,本文研究下行链路非正交码本设计。提出了基于单天线收发和双天线收发场景下的系统模型,一是在单天线收发场景下,给出非正交码本复用过程,给出基于星座图旋转和提出基于唯一可译映射（Uniquely Decodable Mapping,UDM）准则的码本设计方案,在接收端给出最大似然检测（Maximum Likelihood,ML）和消息传播算法（Message Passing Algorithm,MPA）多用户检测算法。在双天线收发的场景下提出下行非正交码本的空时结构,并在衰落信道下,实现接收端的检测。最后,前文在经典的天线场景下研究预编码和检测算法,接着提出更具普适性的联合非正交空时码本的下行MU-MIMO系统,在发送端天线数小于接收端天线数总和,但大于每个接收端的场景下给出以最小和均方误差（Minimum Sum Mean Square Error,Min-SMSE）准则的目标函数。然后提出基于循环分层空时结构（Cyclic Layered Space Time Architecture,CLST）的非正交码本设计方案,更好地发挥空时结构的特点。由于信道矩阵对发送端和接收端都是奇异矩阵,无法通过预编码和接收端检测完全消除天线间干扰,提出联合设计的预编码算法与检测算法。最后加入多用户信道编码,并结合卷积码的维特比译码器,设计迭代译码算法。目标是在Eb/N0=30dB时,BER达到10-3的量级。