毫米波频段能为通信系统提供丰富的频谱资源,大规模多输入多输出（Multiple Input Multiple Output,MIMO）技术能为系统提供更高的频谱效率和能量效率,第五代（Fifth Generation,5G）移动通信技术将两者进行有效结合。作为毫米波大规模MIMO系统中关键的信号处理技术,混合预编码将传统的全数字处理单元替换为模拟信号和数字信号处理单元的结合,能够在确保频谱效率的情况下,有效地降低系统的硬件成本和能量损耗。本文主要针对毫米波大规模MIMO系统的混合预编码进行研究,并基于不同的架构设计混合预编码算法。同时,对系统重要的性能指标,比如频谱效率、硬件成本、计算复杂度和能量消耗,进行分析和比较。主要工作如下:（1）基于全连接的毫米波大规模MIMO系统,提出一种基于梯度下降的混合预编码算法。在发射端,以最小化期望矩阵和所求预编码矩阵的欧几里得距离为目标函数,通过梯度下降法设计混合预编码算法。其中,期望矩阵是通过对信道矩阵进行奇异值分解（Singular Value Decomposition,SVD）得到。随后利用最小二乘法设计数字预编码矩阵。最后,利用收、发两端的对称性设计接收端组合器。不同的是,最优组合器矩阵通过最小均方误差（Minimum Mean Squared Error,MMSE）得到。仿真分析表明:与现有的算法相比,本文算法具有较高的频谱效率和较低的算法复杂度。（2）基于部分连接的毫米波大规模MIMO系统,提出了两种基于连续干扰消除（Successive Interference Cancelation,SIC）的混合预编码算法。考虑频谱效率和能量效率折中,采用发射端全连接、接收端部分链接的系统架构。第一种算法采用与全连接结构相同的设计思路,不同的是:期望矩阵由SIC算法设计得到,并且在设计过程中采用模拟和数字联合优化。仿真分析表明:当收发两端的天线数量过大时,该算法的频谱效率不佳。为了提高在大规模天线数量下系统的频谱效率,本文提出第二种算法:利用SIC算法设计模拟组合器矩阵,并通过MMSE设计数字组合器矩阵。仿真分析表明:在任意天线数量的系统中,频谱效率均得到了有效提升,并且在对比分析中,本文所提算法性能最佳。此外,改进后的系统能量效率也得到进一步地提升,并表现最优。