人们的沟通交流模式因移动通信而发生改变,5G的定位不仅在于它能为用户提供更好体验和更多业务,还是连接行业的网络。5G网络技术在全球应用领域范围内的拓宽,使得其在网络系统设计和优化过程中变得更为复杂,将其在网络应用中所具有的支撑能力进一步拓宽至网络可靠性、时延、用户体验速率、连接密度等多个关键性能指标（Key Performance Indicator,KPI）方面[1],人工智能（Artificial Intelligence,AI）技术也正在为5G通信系统的设计与优化,提供一种远远超越传统理念与通信性能的机会和可能性[2]。为应对未来通信接入设备和移动应用数量的井喷式增长所带来的多样化用户服务需求和网络负载压力,网络中需要引入蜂窝网异构密集化构成、基站智能化管理、同频段内频谱资源共享等技术。在现有布设的基站和有线链路基础上,考虑将毫米波通信与无线回传方案相结合,从而形成密集小蜂窝部署下的毫米波混合回传网络,可以在满足5G通信提出的性能要求的同时,降低网络部署成本和提高灵活度。同时,传统研究方法中的解决算法（例如最优化理论和博弈理论等）在动态的环境中缺乏实时甚至预测性应变的能力,已经渐渐不适用于更加复杂的异构蜂窝网环境中。本文将在最优化方法建模的基础上,利用智能化算法的高效数据处理能力和强大决策能力解决毫米波异构蜂窝网中的基站部署和回传链路设计等问题。主要研究内容概括如下:首先,在基于混合回传的毫米波异构蜂窝网的架构下,采用成本效率（Cost Efficiency）这一性能指标作为毫米波回传接入网部署的依据,并以最大化成本效率为目标建立了网络内小基站部署框架的理论模型。在该模型中,考虑了小基站按簇分布的特性,应用随机几何的理论工具分别推导出部署成本和网络容量数学表达式。对于这一复杂的非线性优化问题,采用改进的模拟退火智能算法（Simulated Annealing,SA）验证模型的正确性和提出的基站部署框架的有效性,为毫米波移动网络规划中的最优基站部署方式提供有用的指导。此外,在毫米波回传接入一体化网络（mmWave Integrated Backhaul and Access Network,mmWave IBAN）中,回传和接入层面的资源需求和性能具有互耦合特性,同时用户的移动性和服务质量（Quality of Service,QoS）需求变化也会带来网络业务负载状态的不断变化,使得毫米波无线回传链路设计变得更加复杂难控。因此我们根据用户行为的分析预测动态地改变回传和接入链路间的资源分配,以此进行无线回传链路的设计是十分必要的。根据区域内各基站与关联用户传输的用户设备的位置更新和数据传输速率需求等数据进行建模。针对这类具有很强时序性的数据,采用基于改进的长短期记忆（Long Short-Term Memory,LSTM）的机器算法进行分析预测。通过仿真实验验证,本文提出的算法相较于传统LSTM算法可以获得更准确的预测效果,更有效地反映该区域对网络资源的需求,使得在网络总资源不变的情况下,保证服务质量。用户的网络需求和移动性不仅影响接入网的资源分配,也间接影响着回传网络,甚至整个网络系统的性能,利用用户行为的准确预测结果进行无线网络的资源预分配,可以从整体上优化网络资源配置,对mmWave IBAN性能有更好的提升效果。最后,我们在mmWave IBAN中,在用户行为预测的基础上对多用户多基站频谱资源分配策略进行了研究。在考虑网络中用户移动路径和网络服务的需求后,利用预测结果动态地改变回传和接入链路间的资源分配,可以更好地满足用户在网络上的动态流量的即时需求。本文在保证满足用户服务质量QoS和网络吞吐量需求的情况下,通过频谱资源分配实现系统能量效率最大化。本文利用机器学习思路将mmWave IBAN的频谱资源分配问题建模为一个Model-free的马尔可夫决策过程,并采用结合LSTM循环神经网络的深度强化学习算法DRQN得到一个动态灵活且能和环境实时交互的动态资源分配方案,来解决在毫米波接入和回传网络中的频谱资源调度问题。