毫米波频段拥有丰富的频谱资源，能够为下一代移动通信提供充足的带宽。毫米波系统易于布置更多的天线的单元，结合多输入多输出(Multiple Input Multiple Output, MIMO)技术，可对抗毫米波强的损耗和衰减，成倍提升无线频谱效率。毫米波混合 MIMO 系统包括射频(Radio-frequency, RF)波束成形和基带MIMO处理器，进一步解决了传统数字系统中RF链路过多而导致的能耗大、技术复杂、成本高的缺点。
　　信道估计和预编码是毫米波混合 MIMO 系统的两大关键技术。本文对此展开了研究，具体包括：
　　1)建立混合预编码问题的数学模型并得到问题的优化目标函数。在传统的预编码方案中，大多数都用到了高复杂度的算法和无限分辨率的移相器(Phase Shifters, PSs)来追求更高的性能。本文提出了一种低复杂度的混合预编码方案，尝试了 QR 分解(QR Decomposition, QRD)和奇异值分解(Singular Value Decomposition, SVD)的方法，对最优无约束数字预编码矩阵直接分解。其中，模拟预编码矩阵由一次矩阵分解获得，大大降低了算法的复杂度，且没有明显的性能损失。此外，所获得的模拟预编码被优化为适用于具有有限分辨率PSs的实际系统。仿真结果表明，该方案的性能接近最优无约束数字预编码的性能，且算法整体性能优于相比较的现有混合预编码算法。
　　2)利用毫米波混合 MIMO 系统的稀疏特性及压缩感知(Compressed Sensing, CS)的理论，将信道估计转化为稀疏信号重构问题。在重构前，通过设计感知矩阵可以进一步提高重构信号的质量。其中，感知矩阵在信道估计问题中即对应了训练波束。本文为训练波束设计问题提供了一个新的视角，即将问题转化为预编码设计的问题，并运用前面介绍的相关预编码算法。仿真结果表明，采用预编码方案设计训练波束在性能上优于传统的训练波束设计。最后，重构稀疏信道信息，由于传统的正交匹配追踪(Orthogonal Matching Pursuit, OMP)算法需要信号的稀疏度作为先验信息，在实际系统难以满足。本文在分段正交匹配追踪(Stagewise OMP, StOMP)算法的基础上，根据重构矩阵的信息确定阈值，并结合动态的阈值调整，提出一种新的动态StOMP(Dynamic StOMP, StOMP-D)算法，从而实现了稀疏度自适应的信道估计并进一步提高了系统性能。仿真结果表明，所提的方法与传统的最小二乘(Least Squares, LS)方法比较，信道估计性能显著提高，并且与稀疏度已知的OMP方法性能十分接近，在稀疏度未知时有明显优势。