由于毫米波的频率高、可用带宽大,能给系统提供每秒千兆比特的传输速率,因此被视为5G通信的一项关键技术。为了保证足够的链路余量,毫米波系统在收发端需要都采用大规模天线的定向波束成型技术,由于硬件设备的高成本和功率损耗,毫米波频段的MIMO系统被分成模拟域和数字域两部分。因此,与微波频段的MIMO系统相比,多天线技术要求提出毫米波系统专有的通信算法,在此背景下,本文从系统的混合结构、信道模型、信道估计和混合合成算法这几方面对毫米波通信的MIMO系统进行研究。首先,本文给出了毫米波通信的系统结构,研究的基于开关切换器的混合结构与基于移相器的混合结构相比,具有更低的复杂度和功耗,并定义能量模型,用来评估两种结构的功率损耗。其次,本文研究了信道估计技术,将稀疏多径的毫米波信道估计转化为信号的重建,并采用压缩感知理论的重构算法进行毫米波的信道估计,同时也应用了最小二乘法对毫米波信道进行了估计,并对两种算法的估计性能进行仿真分析。最后,利用估计的信道状态信息,设计了合成算法,并对每种结构能实现的频谱效率和比特率进行仿真,综合分析每种结构的硬件复杂度、功耗和频谱效率,基于开关切换器的混合结构能获得更好的性能。