为应对移动通信业务量的迅猛增长,第五代移动通信系统(5G,5th Generation Mobile Communication Systems)对信息传输的速率、时延、可靠性等各方面都提出了更高的要求。其中,大规模多输入多输出(Massive MIMO,Massive Multiple-input Multiple-output)技术能够充分挖掘空间资源,大幅提高系统频谱效率和能量效率,已经成为5G的关键技术之一。另外,在终端配有多天线模块,同时采用相应的性能良好的基带处理方案,可以进一步提高整个大规模MIMO系统的性能。然而,大规模MIMO在带来巨大性能增益的同时,还面临着海量数据产生、硬件成本高、系统总功耗大的新问题,因此降低模数转换器(ADC,Analog-to-digital Converter)分辨率成为了有效技术手段之一。本论文针对面向终端多天线的5G关键技术展开研究,包括考虑ADC与射频(RF,Radio Frequency)链影响的上行链路中可达速率分析与用户调度方案设计,下行链路中基站和用户终端基带处理方案的选择与性能分析,以及高阶MIMO原型验证系统的设计与实现。首先,给出面向终端多天线的大规模MIMO系统上行链路系统模型,包括ADC结构与加性量化噪声模型、RF失配信道模型和上行传输信号模型。其中,根据上行传输信号模型,在接收端已知信道状态信息的假设下推导出了基于低精度ADC与非完美RF的上行可行速率,给出了不同量化比特、不同功率限制条件下的仿真结果,并在量化比特与RF质量之间进行权衡。另外,研究了基于低精度ADC与非完美RF的上行用户调度方案,包括单用户调度与多用户调度、贪婪用户调度与随机用户调度之间的性能差异。仿真结果表明,贪婪用户调度情况下上行可达速率更高,且随着用户数量的减少,贪婪用户调度相比于随机用户调度的上行可达速率增长更为明显。其次,给出面向终端多天线的大规模MIMO系统下行链路系统模型,包括传输框图、信号模型和物理资源分布。其中,物理资源分布主要是指遵循长期演进标准(LTE,Long Term Evolution)的无线帧结构和天线端口的导频配置方式。另外,介绍了基于奇异值分解(SVD,Singular Value Decomposition)的块对角化预编码方案,并提出了一种复杂度明显更低的、基于QR分解的块对角化预编码方案。随后,简述了基于同步序列的精同步方案,低复杂度的线性最小均方误差(LMMSE,Linear Minimum Mean Square Error)信道估计方案,以及同样硬件友好的、基于QR分解的LMMSE信号检测方案。仿真结果表明,随着调制方式复杂度的提高以及用户天线数量的增加,误比特率(BER,Bit Error Ratio)曲线性能表现越差。另外,在时分双工系统中,采用LMMSE信道估计结果计算预编码矩阵时的BER曲线性能更好。最后,设计并实现了配有特别设计5G多天线模块的高阶MIMO测试平台。为更好地解释原型系统设计,给出了基本参数和硬件架构。其中,正交频分复用子载波个数、子载波频率间隔等基本指标,以及同步、解调等基本基带处理方案均参照LTE标准。随后,介绍发送端程序与接收端程序,给出不同模块的框图与相应接口说明。此外,进行了现场试验,包括可视的星座图和四路视频的传输,BER和信噪比的测量。