毫米波通信系统作为5G时代可能采用的技术之一,可以提供丰富的空白频谱资源,并且具有系统容量大、传输速率高、频谱资源丰富等诸多优点。在毫米波系统中,由于其波长短的原因,路径损耗非常严重。虽然可以利用密集地部署大规模天线阵列进行波束赋形的方法来克服路径损耗的问题,但是传统的在基带对信号进行处理的方法需要为每根天线配置一个射频链路,在毫米波通信系统中,大规模的天线阵列意味着较大的硬件成本和额外功率开销。同时在基带和射频域对发送信号进行处理的混合预编码方法能够有效减少射频链路的数量。因此,在毫米波通信系统中,混合预编码算法设计问题具有重要的理论和应用价值。本文立足于新的应用场景,对毫米波通信系统中的混合预编码算法进行研究和设计。首先,针对在毫米波通信系统中传播多个数据流时,各个数据流之间存在干扰的问题,设计了基于QR分解的迫零混合预编码算法,该算法利用了毫米波信道的空间稀疏特性来对信号进行处理,使用QR分解工具对传统ZF预编码进行重构来设计混合预编码,仿真结果表明该算法能有效消除数据流之间的干扰问题,与现有混合预编码方案相比能够获得更好的频谱效率性能。其次,针对在多用户的毫米波MIMO系统中的用户间干扰问题,设计了基于块对角化的空间稀疏预编码算法,该算法利用毫米波信道的有限散射特性将混合预编码设计问题转换为一个加权稀疏信号重构问题,仿真结果表明该算法能够有效消除各个用户之间的干扰问题,并获得接近全数字BD预编码方法的单位带宽和速率性能。最后,当多用户系统中的用户数目过多时,会导致预编码矩阵不满秩的问题。本文针对这个问题,设计了基于用户选择的空间稀疏预编码算法,该算法以系统容量性能最优为目标,利用贪婪思想选择出进行通信的用户子集并设计其混合预编码,仿真结果表明该算法降低了算法复杂度且能够获得较好的系统和速率性能。