毫米波技术一直是消费类电子高速无线通信系统的前沿,也是当前高速WLAN系统和5G蜂窝通信系统的核心技术。虽然毫米波拥有巨大的带宽优势,但是高路损易遮挡的传播特性以及高频器件的硬件设计和功耗成本制约了其发展。随着学术界和产业界对毫米波技术的研究和开发,配置大规模天线和少量RF链路的收发机架构以及混合数字模拟波束成型技术被提出,毫米波MIMO通信系统的商用成为可能。这种混合波束成型技术在模拟域可以充分利用大规模天线的阵列增益补偿链路预算的不足,而在数字域则可以充分利用毫米波信道的稀疏特性实现有效的数据传输。本文针对毫米波MIMO无线通信系统中的混合波束成型技术展开研究。一方面,以毫米波无线电传播和阵列天线的理论为基础,结合先进的信号处理技术,包括大规模MIMO、干扰对齐（IA）和非正交多址接入（NOMA）等,设计有效的基带处理算法。另一方面,以毫米波技术相关商业标准IEEE 802.15.3c、IEEE 802.11ad和3GPP 5G NR等为参考,结合RF特性和基带信号处理技术,提出实用可行的方案设计。论文的主要贡献以及成果如下:首先,研究毫米波MIMO系统中的混合波束成型设计。针对单用户MIMO系统,提出一种无需CSI的盲混合波束成型设计。首先采用随机梯度下降（SGD）算法以最大接收功率为优化目标设计模拟波束矩阵,然后在等效基带信道的基础上通过幂迭代算法实现数字波束矩阵的设计。针对多用户MIMO系统,为避免采用可变速率编码传输多流数据带来的同步误差和相位噪声问题,从最优BER设计的角度出发,提出一种采用相同MCS条件的混合块对角化-几何均值分解（BD-GMD）设计。首先基于等效基带信道互信息最大,并考虑空间自由度,推导出模拟波束矩阵,然后基于抑制用户间干扰和用户内流间干扰实现数字波束矩阵的设计。在混合BD-GMD设计中,不仅推导出了理论闭式解,而且提出了一种低复杂度的有限反馈算法,并对复杂度做出了理论分析。其次,研究毫米波MIMO系统中的码本设计和波束训练。针对码本设计,提出一种低复杂度的两级3D波束码本设计,其中主码本通过控制相位偏移数以保证波束增益,辅码本通过控制“旋转”因子以保证波束精度。针对单波束训练问题,提出一种通过天线选择改变训练波束宽度和数量的低复杂度搜索算法,其中多级波束的选择通过阵列相关性来决定。针对多波束训练问题,基于阵列天线和随机矩阵理论,推导出一种有效的波束子集优化方法,并证明了波束子集规模的最小值是信道传播径数。在此基础上,通过限定参与波束训练的收发机单元（TXRU）数量,提出了两种线性波束训练的方法,并给出了理论收敛的证明。最后,研究毫米波MIMO系统中的干扰抑制技术。以60GHz密集通信网络和5G毫米波蜂窝网络为典型场景,结合实际系统中的干扰问题,分别给出了基于IA和NOMA的混合波束成型设计方案。针对60GHz网络中的全局弱干扰问题,首先分析了混合IA设计的可行条件,即节点的RF链路数要求不小于两倍数据流数,然后给出了联合最大SINR和最小MSE的混合IA算法,最后提供了该算法在大规模天线系统下的干扰特性分析。针对5G毫米波蜂窝网络,考虑到传统OMA机制处理多用户干扰造成资源的浪费,提出结合NOMA机制和混合波束成型技术来有效利用毫米波传播的高路损特性。此外,针对NOMA系统中的簇内和簇间干扰问题,分别从用户配对、混合设计以及功率分配三个方面给出了详细的解决方案。