伴随着信息时代的发展,人们的数字娱乐生活越来越丰富,智能手机提高人们生活品质的同时也对无线数据业务的提出了新的要求。在第五代移动通信（Fifth-Generation Mobile Communication,5G）时代,移动无线网络不仅仅需要提供几十倍于4G（Fourth-Generation Mobile Communication）的峰值传输速度,更需要保证毫秒级的数据传输时延。当前的商用的移动通信普遍采用低频段通信技术,然而这已经无法满足新的无线通信要求。毫米波频段相对于当前的商用无线通信系统可以提供更多的通信频段,使得无线通信的发展带入了一个新的时代。毫米波传播损耗严重的问题可以由大规模天线阵列来补偿,这就使得毫米波大规模MIMO技术成为了5G网络以及下一代无线网络非常重要的技术之一。随着天线数量的增加,大规模的天线阵列会相应的带来比较高的硬件成本、能量消耗和计算复杂度。相对于低频通信技术所使用的全数字预编码方案,混合预编码是一种平衡性能和硬件开销的方案。然而传统的混合预编码通常采用的都是全连接的天线结构,每个射频都通过移相器和所有天线相连接。在大规模天线条件下,全连接的结构会使得模拟移相器（Phase Shifter,PS）和射频加法器在MIMO系统中所使用的数量大大增加,同样会导致过高的硬件成本和功率消耗。针对传统的全连接架构混合预编码方案存在的问题,本文考虑部分连接架构混合预编码方案。部分连接架构可以有效的解决移相器数量过多的问题,并且不再需要使用射频加法器,使得硬件成本和功耗相对于全连接混合预编码方案进一步有效降低。部分连接架构可以被进一步细分成固定子阵列结构和动态子阵列结构两类。固定子阵列中,每个射频都与硬件设计时已经分配好的固定位置和数量的天线子阵列连接,并且不同子集之间没有交集。但是在动态子阵列中,可以通过低功耗的开关网络实现动态地将射频和天线相连接,从而可以通过已知的信道信息动态的调整或者重新划分对应的天线子集。本文针对单用户的毫米波MIMO系统设计了混合预编码算法,以最大化互信息为目标,提出了一种基于动态子阵列的混合预编码方案。并且,在此目标的基础上设计了一种基于聚类算法的天线子集划分算法,将天线划分抽象成天线聚类问题。所提出的算法相对于固定子阵列预编码方案有着很大的性能提升,并且保证了算法的低复杂度。研究单用户多数据流的场景虽然可以充分提升单用户系统的速率,但是大规模MIMO系统也是实现多用户接入和提升多用户场景信道容量的重要手段,因此本文基于多用户的毫米波MIMO系统又提出了一种基于分式规划的混合预编码。与当前的多用户动态子阵列方案不同的是,在设计优化目标的时候,将用户公平性作为一个考虑的指标,通过以最大化加权的和速率为目标,来保证不同用户之间的公平性。所提出的方案在1比特量化精度的移相器条件下,相对于目前方案有着较为明显的系统性能优势。