第五代（5th Generation,5G）移动通信的到来标志着移动通信技术进入了多技术和多业务融合的时代。在5G中,毫米波和大规模多输入多输出（Multiple Input Multiple Output,MIMO）技术的结合能够有效地提高频谱效率,但较多的天线数和系统成本限制了传统全数字预编码的使用。混合预编码作为一种有效的解决方案,降低了射频链的个数和硬件成本。因此,本文主要针对单用户毫米波大规模MIMO系统的混合预编码算法进行研究,给出了两种交替优化的方案,分别在复杂度和性能方面具有优势。本文主要研究内容如下:首先,研究了毫米波下的信道模型,大规模MIMO的传输模型和混合预编码的经典算法。之后,将最大化频谱效率作为优化目标函数进行研究,并运用矩阵理论和优化方法对其进行深入分析。其次,给出了一种基于交替优化的混合预编码方案。该方案的核心思想是利用矩阵运算将优化问题进行分解,转换为一系列子问题的总和。其中,每一个子问题的变量都包含了收发端模拟域矩阵的列,因此选取交替优化的方法求解。另外,由于模拟域矩阵中元素振幅的限制,对子问题采取投影梯度上升法,使解始终处于约束集合内。模拟域矩阵求解完毕后,数字域的矩阵从等效信道的酉阵中导出,避免了迭代过程。仿真和计算结果表明该算法复杂度低且能够获得较好的性能。此外,考虑到模拟预编码矩阵中单个元素对优化问题的影响,给出了另一种基于双层交替优化的混合预编码方案。外层交替优化接收端和发送端,内层交替优化接收端或者发送端的数字和模拟域矩阵。在内层交替中,利用等效信道将优化问题进行分解,并将其转换为一系列子问题的总和。针对每一个子问题,模拟域矩阵采用按元素依次求解的方法,数字域矩阵采用最小二乘法求解。之后,进行内外层的多次交替迭代即可得到混合预编码矩阵和合并矩阵。仿真分析展示了该算法能够取得较好的性能。本文针对混合预编码设计中存在的非凸约束问题,给出了两种解决方案。经过验证,均有较好的性能且有着较低的复杂度,因此在毫米波大规模MIMO系统中有着较高的可用性。