未来第六代无线通信系统向万物互联方向发展。随着移动设备和物联网设备数量的快速增长,以及移动数据流量需求的激增,频谱资源消耗殆尽和系统容量不足等问题逐渐涌现出来。为满足无线通信需求,异构组网技术可以通过增加多类型小型基站数目,进而缩短终端设备与基站间距离,有效提高系统容量。同时,异构网络可以通过微基站与宏基站共享相同的信道的方式提高频谱效率来解决频谱短缺的问题。但是在异构网络中,大量微基站与海量终端设备共存,会出现的两者之间距离更近的情况,使干扰更加严重,这对用户服务质量（Quality of Service,QoS）造成了极大影响。因此,通过正确选择信道和基站的方式提高频谱和流量等资源的利用效率,可以极大地缓解干扰和系统容量不足的问题。因此,如何在保证终端用户服务质量的前提下,实现对用户关联基站和信道分配的联合优化,成为了亟待解决的问题。为解决上述优化问题,博弈论和凸优化等传统算法需要几乎完整的信道和基站信息,同时传统算法大都依据当前状态网络而不能根据网络过去的状态综合考虑系统未来收益。此外,在用户关联和信道分配的联合优化过程中,异构网络的用户和基站数量极大,导致资源分配的状态空间和动作空间激增,由此产生的巨大计算量使策略收敛十分困难。针对以上问题,本文提出了一种多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning,MADRL）分布式优化方法——基于Multi-Agent Dueling架构的DQN（MADDQN）算法。多智能体DQN方法通过不断与环境交互的方式获取信息,解决了难以获取完整信道状态信息（Channel State Information,CSI）的问题。同时,为从长远角度考虑系统收益,算法采用强化学习网络通过不断折现奖励的方式实现系统收益最大化。此外,针对DQN收敛不够迅速的问题,算法提出采用Dueling DQN架构,通过将Q值等效为均值和优势值之和的方式,快速提取出系统信息完成策略的收敛。但是上述MADDQN算法还存在由于信息提取不到位而导致的策略收敛时系统和速率（系统容量）较低的问题。为解决这一问题,本文进而提出了一种基于Multi-Agent优先级经验回放技术（Prioritized Experience Replay,PER）和Dueling架构的Double DQN算法（MAPD3QN）。其中,PER技术通过对经验数据的重要性分级,使重要但稀少的经验数据得到高效地利用,Double DQN通过增加目标网络来监督Q值更新的方式,使深度神经网络提取的信息被正确的估计,进而找到更好的策略。仿真表明,本文提出的MADDQN和MAPD3QN算法可以在保证用户QoS的情况下完成用户关联基站和信道分配策略的快速收敛,并取得良好的和速率（系统容量）。