随着通信关键技术的快速发展,通信系统的结构越来越复杂并且配置的天线数也越来越多。同时,对通信系统的各方面性能也提出了更高的要求,如高吞吐量,高数据速率等。而信道估计一直是无线通信的关键部分,其效率的好坏对通信系统至关重要。所以,高精度高效的信道估计算法一直是通信领域的研究重点。随着深度学习（Deep Learning,DL）相关理论的日益完善,DL已广泛应用于各大领域中,并取得了卓越的成果。同时随着深度学习算法的不断优化,以及硬件设备的提升,深度学习技术也逐渐被应用于通信领域。所以,在通信系统中利用深度学习技术提高复杂信道的估计效率成为了当前信道估计的一个重要研究方向。首先,正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）技术能够很好地支持多址接入,并且在频率选择性衰落环境下具有很强的鲁棒性,因此其已广泛应用于通信系统中。目前大多数基于DL的OFDM信道估计算法必须使用大型数据集进行预先训练,这会导致训练开销过大、训练与测试阶段之间存在差异性。针对这些问题,本文提出了一个不需要离线训练的基于DL的信道估计算法—无需离线训练的信道估计网络（Untrained Channel Estimation Network,UTCENet）。在UTCENet中,先将最小二乘（Least Square,LS）估计获得的信道矩阵建模为一张含有噪声的二维图像;再使用梯度下降动态地为每张噪声图像拟合神经网络的参数,即通过神经网络参数化来获得隐式先验信息;最后利用获得的隐式先验信息重建出高精度的信道图像。虽然UTCENet算法不需要离线训练,但保证了估计的性能,其原因在于利用了OFDM子载波之间的相关性。数值结果表明,相较于传统方法以及现有的基于DL但需要训练的信道估计方法,所提出的UTCENet算法不仅在估计精度和估计准确度方面性能提升明显,而且还降低了训练开销。然后,4G及4G后多输入多输出（Multi-input Multi-output,MIMO）OFDM成为关键技术,本文进一步将提出的UTCENet算法应用于MIMO-OFDM系统。将每个天线对之间的信道矩阵的LS估计结果建模为一张噪声图像,随后将这些噪声图像在空间维度上进行叠加。同时将UTCENet网络模型从单通道扩展至多通道,以便更好地利用OFDM子载波之间的相关性来改善信道估计的精度。数值结果显示,对比于其他DL信道估计算法,UTCENet算法收敛速度更快,估计精度更高。验证了将UTCENet算法从低维信号扩展到高维信号的可能性。最后,由于天线技术以及毫米波（millimeter wave,mm Wave）技术的发展,毫米波大规模MIMO已经成为无线通信系统的热门关键技术之一,本文对信道估计算法的研究进一步扩展到毫米波大规模MIMO-OFDM系统。因为该系统具有稀疏特性,可以将该系统的信道估计问题建模为多测量向量问题,再利用压缩感知理论实现信道估计。但是经典的匹配追踪方法计算过程复杂,针对这一问题,本文在压缩感知的基础上使用深度神经网络（Deep Neural Network,DNN）,提出了基于DNN的信道估计算法（Channel Estimation Algorithm Based on Deep Neural Network,DNN-CES）,实现端到端的信道估计。实验结果表明,DNN-CES算法与经典匹配追踪类贪婪方法相比具有更低的归一化均方误差和更高的误码率,且计算过程较为简单。