毫米波通信和大规模多输入多输出(Massive MIMO)技术作为5G通信的关键技术,得到了广泛的关注。毫米波频率高,传播时路径损耗大,而利用波束赋形可以提高传输增益以补偿路径损耗。传统的MIMO系统中使用数字波束赋形,要求每根天线都要连接一条射频链路,这带来了很高的硬件开销,不适用于毫米波通信系统。为了在成本和性能之间取得一个折中,提出了数字和模拟相结合的混合波束赋形技术。虽然现在有不少关于混合波束赋形的研究,但是模拟波束赋形部分的恒模约束问题,以及多变量的同时优化使得混合波束赋形问题是一个很难求解的非凸问题,因此寻找适用于毫米波系统的最佳混合波束赋形矩阵还是一个开放性问题。传统的混合波束赋形算法普遍存在计算复杂度高、实现成本高、耗费时间长等问题。近年来人工智能技术飞速发展,作用于各领域,而作为人工智能的一个重要分支,深度学习被认为是解决非凸问题的有效手段,因此本文提出了基于深度学习的混合波束赋形方案。本文分别利用深度神经网络(Deep Neural Network,DNN)和卷积神经网络(Convolutional Neural Network,CNN)实现混合波束赋形。对于深度神经网络,在假设信道状态信息完全已知的情况下,以信道矩阵作为神经网络的输入,以系统的性能指标频谱效率相关的函数作为损失函数,分别针对混合波束赋形的两种结构,以收发两端的模拟波束赋形矩阵为输出训练神经网络。实验仿真结果表明,提出的方案获得了接近最佳全数字波束赋形的性能,并且计算复杂度比传统方案低。对于卷积神经网络,首先采用CNN对信道进行估计,然后将估计的信道矩阵输入混合波束赋形部分的CNN中,将混合波束赋形矩阵作为输出训练神经网络。针对部分连接结构,与传统采用开关算法的方案不一样,本文利用CNN对天线进行选择接入。实验仿真结果表明,提出的方案比传统的方案性能好,更接近于最佳的全数字波束赋形性能。