多输入多输出(MIMO)技术是第四及第五代移动通信系统的关键技术之一,通过在发送端或接收端架设多根天线,能够在时频维度之外开发空间维度,有效提高信息传输速率。通过调度若干用户共享同一时频资源,可实现多用户(MU)传输,进一步提升资源利用率。MU-MIMO系统的研究通常围绕二维(2D)水平面展开,通过在水平维度对发射波束进行控制,实现波束成形,使多个用户能够同时接受基站服务。然而在2D MU-MIMO系统中所有波束共用同一下倾角,应用受到局限。随着现代城市建筑物的高层化,用户所处楼层高度的变化范围逐渐增大,因此需要对垂直维度同时进行开发,三维(3D) MIMO技术引起极大关注。该技术旨在利用3D空间的完整信息,深度挖掘空间自由度。与2D MU-MIMO相比,3D MU-MIMO系统能够同时服务处于相同水平方位、不同海拔高度的多个用户,使多用户传输效率显著提升。本论文将围绕基于3D信道的MU-MIMO传输方案展开研究,重点研究其下行链路的预编码技术。首先,本论文针对3D MU-MIMO系统的物理层技术进行调研。分别围绕传输模型、信道建模、系统容量和波束成形等方面介绍3D MIMO传输系统的物理层,从MU-MIMO 下行链路接收信号模型入手,分析用户间存在的干扰现象以及现有的两种常用的干扰消除手段,包括下行链路预编码技术,重点介绍能够使MU-MIMO系统达到最优容量的非线性脏纸编码(DPC)和克服了DPC高复杂度缺陷的线性预编码技术,以及多用户调度技术,重点介绍最大和速率调度、轮训调度和比例公平调度算法。接着,本论文研究基于3D双极化信道的MU-MIMO系统双码本设计方案。首先介绍该方案所采用的系统模型,包括3D双极化均匀平面天线阵列以及两用户场景下的下行链路传输模型,接着提出基于双码本的下行链路预编码方法,在引入基于克罗内克乘积码本的基本波束集合后,分别采用长时与短时码本来设计内外双层预编码矩阵,由此提出一种基于该长短时双码本的多用户传输方法,具体介绍所使用的最佳伙伴集合反馈方案、反馈量的计算方法及用户配对准则,并提出一种基于四分法的快速波束匹配算法以降低长时码本的搜索时间,最后通过仿真分别评估3D双极化MIMO系统中基于该双码本的多用户传输方案的性能。仿真结果表明：基于3D双极化信道的多用户MIMO系统双码本设计方案及相应的有限反馈方法相对现有的2D传输系统而言能够有效提升系统吞吐量。最后,本论文研究结合空分多址(SDMA)和干扰抑制的毫米波大规模MIMO系统多用户传输方案。首先从物理域和波束域两个方面对信道进行建模,探究毫米波大规模MIMO系统波束域信道的稀疏性,并由此提出一种结合SDMA与迫零(ZF)预编码的毫米波多用户传输方法以消除多用户干扰,将用户全集按照波束的重叠情况划分成两个子集,其中一个用户子集采用基于双码本的SDMA方案,另一个则采用基于ZF预编码的多用户传输方案,随后研究该方案在扩展至多径模型后的适用情况,并通过仿真验证该方案在毫米波大规模MIMO系统中的性能。仿真结果表明：结合SDMA和干扰抑制的毫米波大规模MIMO系统多用户传输方案不仅能够克服大规模MIMO系统CSI获取的困难,而且是一种有效的多用户干扰消除手段,能够大幅提升MU-MIMO系统的传输效率。