毫米波（Millimeter Wave,mm Wave）通信与大规模多输入多输出（Multiple-Input MultipleOutput,MIMO）技术结合可充分发挥其各自优势。发送端能利用信道状态信息（Channel State Information,CSI）进行预编码,可获得高方向性增益,从而弥补毫米波信号的高路径损耗,以提高系统性能,保证数据的可靠传输。然而,目前在毫米波大规模MIMO系统中广泛采用的混合预编码技术仍存在计算耗时较高、算法收敛性能不佳等问题。近年来,深度强化学习被视为实现强人工智能（Artificial Intelligence,AI）的一项重要技术,并在处理物理层无线通信问题时展现出了强大的能力。因此,本文研究基于深度强化学习的毫米波大规模MIMO系统混合预编码技术。首先,本文研究并总结了强化学习与深度强化学习的理论基础。本文介绍了强化学习的基本概念,给出强化学习适用的问题类型,并介绍了两种主流的强化学习求解思路,即基于值函数的强化学习方法和基于策略梯度的强化学习方法。在此基础上,进一步阐述基于神经网络的深度强化学习算法,该算法利用神经网络拟合值函数或策略梯度函数,可极大提高强化学习智能体的收敛速度。进而,给出了多智能体强化学习的概念及其常见算法,包括Team-Q学习,分布式Q学习,Nash-Q学习以及松散耦合Q学习等。其次,本文针对单用户毫米波大规模MIMO下行传输系统,分别在基站可获得理想和非理想CSI场景下提出了基于深度强化学习的混合预编码算法。在理想CSI场景下,所提算法采用流形优化算法获得可用的模拟预编码矩阵,基于该模拟预编码矩阵采用深度强化学习技术设计发射端数字预编码矩阵与接收端模拟合并矩阵,并结合最小均方误差准则（Minimum Mean Square Error,MMSE）获得接收端数字合并矩阵。采用的深度强化学习算法中,利用确定性策略梯度下降（Deep Deterministic Policy Gradient,DDPG）进行学习训练。深度强化学习智能体以前一迭代时刻的数字预编码和模拟合并阵为状态,以当前迭代时刻的数字预编码和模拟合并矩阵为动作,以当前迭代时刻的用户频谱效率为奖励。进而,针对非理想CSI场景,首先推导了用户频谱效率的上界,并将智能体的奖励函数修正为这一上界,进而基于修正的MMSE准则计算数字合并矩阵。仿真结果表明,所提算法能够实现比传统混合预编码算法更高的频谱效率和更低的误码率。同时,与深度监督学习相比,所提算法可自适应变化的环境且无需大量预定义的训练数据,更具鲁棒性。接下来,本文进一步在单用户系统研究的基础上进行了多用户多输入单输出（Multiple-Input Single-Output,MISO）下行系统混合预编码研究。在基站可获得理想信道状态信息的假设下,提出一种基于深度强化学习的混合预编码设计方法。该方法采用深度强化学习方法设计基站模拟预编码矩阵,每次学习迭代中利用该步所得模拟预编码矩阵降维后的等效信道矩阵进行迫零数字预编码,以消除用户间干扰。对模拟预编码矩阵进行设计的深度强化学习算法中,考虑其非凸的恒模约束条件,基于DDPG算法,以前一迭代时刻的模拟预编码阵为状态,以当前迭代时刻的模拟预编码阵为动作,以当前迭代时刻的系统和速率为奖励,让智能体在线学习最优的模拟预编码矩阵设计策略,以较低的时间开销获得接近最优的系统和速率性能。仿真结果验证了所提算法的性能。最后,针对多用户MISO混合预编码系统中,单智能体强化学习探索效率较低,容易陷入局部最优的问题,本文提出一种基于多智能体深度强化学习的混合预编码算法。所提算法采用动作-评价（Actor-Critic）的强化学习架构,由多个分布式的动作网络、多个改进的带优先级的经验池、一个中心化的评价网络和一个中心化的奖励值预测网络构成。多个动作网络分别探索环境,输出各自的动作,中心化的评价网络基于所有动作网络的状态-动作对,从而协调各个动作网络的探索,使不同动作网络的经验能够彼此共享,加快收敛速度。同时,为所有状态-动作对定义优先级,并随样本存入经验池中,按优先级采样,提高样本利用率。针对强化学习中奖励函数信息量不足的问题,利用中心化的奖励值预测网络对奖励值进行修正,进一步加快算法收敛。