未来5G系统能够支持1000倍的业务量增长,理论上峰值传输速率可达10 Gb/s。现有的授权频段已经无法满足要求,于是研究者们把目光转向毫米波频段。5G毫米波通信系统利用毫米波频段上的超大带宽,并结合大规模多输入多输出(MIMO)提供的定向波束成形增益,可以有效降低毫米波信号在自由空间的路径损耗。传统大规模MIMO系统采用的纯数字预编码方案需要每个射频(RF)链路与每根天线相连。但是,毫米波大规模MIMO系统的天线数目众多,部署大量RF硬件会增加系统复杂度和功率消耗。模拟和数字混合预编码是一个很好的选择。本文通过研究5G系统毫米波频段上的无线传输技术,主要工作总结如下:首先,本文介绍了5G系统的毫米波通信和大规模MIMO技术。然后,详细介绍了毫米波大规模MIMO系统和预编码技术,并且还分类阐述了三种混合波束成形结构。其次,提出一种新型单用户毫米波大规模MIMO系统混合预编码算法。利用分层思想,第一层设计模拟预编码矩阵,提出一种模拟预编码算法,第二层设计数字预编码矩阵。最终将起始的最优化问题转化为在每根天线的功率分配约束下单个RF链路连接天线子阵列最优化问题,再根据迭代方法获得最佳混合预编码器。仿真结果表明,设计的最佳混合预编码器接近纯数字预编码器的性能。最后,提出一种多用户毫米波大规模MIMO系统混合预编码算法。首先,利用等增益传输(EGT)算法并结合离散傅立叶变换(DFT)基设计模拟预编码矩阵和组合矩阵,然后运用扩展矩阵块对角化(BD)算法来消除用户间干扰;最后,在模拟预编码矩阵和组合矩阵确定后,根据奇异值分解(SVD)可以进一步求出数字预编码矩阵和组合矩阵。仿真结果表明,本文提出的算法实现的性能优于EGT混合预编码算法和传统BD算法实现的性能。