本文针对毫米波大规模多输入输出（Multiple-Input and Multiple-Output，MIMO）系统，分别研究了基于经典方法与基于深度学习方法的信道估计。其中经典方法包括过采样与基于旋转不变技术的信号参数估计（Estimating Signal Parameters via the Rotational Invariance Techniques，ESPRIT）。
　　首先对于使用过采样的毫米波系统信道估计，提出了一种信道估计的框架。该框架包括混合预编码和合并矩阵的设计，以及对于过采样波束域接收矩阵的快速搜索方法。然后基于该框架提出了三种信道估计方案，包括基于单位矩阵近似的方案、基于分散零对角元素的方案和基于集中零对角元素的方案。仿真结果表明所提出的方案能够逼近理想情况。
　　其次基于ESPRIT方法提出了两种高分辨率的信道估计方案。第一种方案基于二维ESPRIT方法，包括三个阶段的导频传输。该方案首先估计到达角和出发角，然后将到达角和出发角配对。第二种方案基于一维ESPRIT和最小值搜索方法，将导频传输从三个阶段减少到两个阶段，从而减少了导频开销。该方案首先估计每条信道路径的出发角，然后搜索主瓣，最后在主瓣中进一步搜索最小值。为了提高信道估计的鲁棒性，还提出了一种混合预编码和合并矩阵设计方法。
　　除了基于经典方法研究信道估计外，还基于深度学习方法研究了信道估计，提出了一种深度学习压缩感知信道估计方案。首先使用仿真环境离线训练该方案中所用的神经网络，用于预测波束域信道幅度。然后基于得到的波束域信道主要元素的索引来重构信道。在完成信道估计之后，还研究了混合预编码设计，提出了一种基于深度学习的量化相位混合预编码设计方法。该方法首先使用近似相位量化对神经网络进行离线训练，然后用理想相位量化代替近似相位量化来获得实际部署的神经网络，用于输出模拟预编码向量，最后通过堆叠模拟预编码向量获得模拟预编码矩阵，并计算迫零数字预编码矩阵。