在第五代移动通信系统中,数据传输速率要求达到Gbps量级,以满足3D超高清视频等大流量移动宽带业务的需求;同时,物联网业务导致网络终端的数量呈现爆炸式增长。这一切使得频谱资源短缺的问题更加突出。毫米波频段拥有丰富的频谱资源,而且存在大量的未授权频段,因此可以免费使用,不必支付高昂的许可费用,这从根本上解决了频谱资源短缺的问题。然而,毫米波信号在大气中传播时面临着严重的衰减。幸运的是,由于毫米波信号波长短,相应的天线尺寸很小,因此,可以通过部署带有大量阵元的大规模多输入多输出(Multi-Input Multi-Output,MIMO)系统来获得超高的阵列增益,以此来补偿毫米波信号的路径损耗。于是,毫米波与大规模MIMO的结合就成为必然。为了改善毫米波大规模MIMO系统的接收性能,可以在基站对发射信号进行预编码处理。考虑功耗和成本的因素,不同于传统MIMO系统完全在基带上进行预编码处理,毫米波大规模MIMO系统采用数字预编码和射频(Radio Frequency,RF)预编码相结合的混合预编码架构。为此,本文针对毫米波大规模MIMO系统,深入研究了混合预编码的设计方法。主要内容如下:1.针对点对点场景下的混合预编码设计,基于字典学习的思想,提出了一种可有效提高系统频谱效率的混合预编码方案。在该方案中,首先对全数字预编码矩阵的各列采用稀疏表示;进而逐个将字典原子从稀疏表示中分离出来,通过对误差矩阵采用奇异值分解,来更新对应的字典原子,直到所有字典原子更新后,以形成新的字典矩阵。最后利用更新后的字典矩阵稀疏重构全数字预编码矩阵,从而得到RF预编码矩阵和数字预编码矩阵。仿真结果表明,相较于基于正交匹配追踪的混合预编码方案,本文所提方案在提升频谱效率和降低误码率方面具有明显优势。2.针对多用户场景下的混合预编码设计,提出了一种基于分层码本的低复杂度混合预编码方案。该方案充分利用天线单元越多,所形成的波束越窄这一特性,首先理论上配置较少的天线单元确定粗糙的波束,进而通过逐步加倍天线单元来获得更为精细的波束。基于此,给出一种基于波束导向矢量的分层码本,与穷举搜索算法相比,以较小的性能损失换取了搜索复杂度的大幅度降低。进一步,还提出了一种低分辨率模拟移相器(Analog Phase Shifters,APSs)分层码本设计方法。仿真结果表明,该码本尽管存在无法避免的性能损失,但在降低搜索复杂度的同时,充分考虑了实际通信场景中APSs分辨率有限的问题,且可根据具体的通信需要灵活配置不同分辨率APSs,所以该混合预编码方案更具现实意义。