毫米波的短波长使得大规模天线的小尺寸封装成为了可能,通过大规模天线阵列可以实现高的波束成形增益,从而弥补毫米波信号严重的路径损耗,所以大规模MIMO和波束成形技术是毫米波通信中的关键技术。随着天线规模增长,为每根天线配置一条射频链路的全数字波束成形会使得系统开销巨大;使用传统模拟波束成形又因为仅能支持单数据流的传输而效率低下。因此,混合波束成形作为一种兼备二者优点,可以取得系统性能与能耗折衷的方案受到研究人员的广泛关注。在大规模MIMO系统中,根据接收端的用户数量可以分为单用户和多用户大规模MIMO系统。针对单用户大规模MIMO系统,本文首先介绍了广泛应用的基于正交匹配追踪算法及一种基于正交约束和相位提取的波束成形算法。在此基础上,基于相位提取和交替优化的思想,提出了一种有限精度的混合波束成形算法。该算法首先随机产生一个模拟波束成形矩阵,在接下来交替优化的过程中,通过最小二乘准则得到当前最优数字波束成形矩阵,通过提取全局最优波束成形矩阵与数字波束成形矩阵共轭转置乘积的相位作为模拟波束成形矩阵,并通过一定的规则对模拟波束成形矩阵进行量化。仿真结果表明,在毫米波信道下,提出的算法与正交匹配追踪算法相比,具有更好的系统性能,与基于正交约束和相位提取的算法相比,频谱效率接近,但是提出的算法可以实现量化,从工业角度提出了一种可能。针对多用户大规模MIMO系统,本文首先介绍了PZF及一种基于系统容量最大化的算法。两种算法应用的场景不同,对信道状态信息的要求也有所不同,在性能上存在较大差异。由于基于系统容量最大化的算法对用户间的干扰没有做很好的处理,故对于存在的问题,在分组思想的基础上提出了一种基于分组的混合波束成形。该算法首先通过用户信道之间的相关性对用户进行分组,然后受系统容量最大化算法思想的启发,在每个组内对用户进行穷举搜索。仿真结果表明,在多用户大规模MIMO系统中,该算法较于前种算法具有更好的频谱效率。